Google, llms.txt 점검 나서…에이전틱 브라우징 질서 재편

구글이 웹사이트의 llms.txt와 에이전트 호환성을 점검하면서, 검색과 AI 브라우징의 규칙을 누가 정할지에 대한 주도권 경쟁이 본격화되다.

• Google은 새 에이전틱 브라우징 감사 체계에서 웹사이트가 llms.txt를 제공하는지와 에이전트 친화적 구조를 갖췄는지를 점검하고 있다. 이는 웹 운영자에게 단순 색인 최적화가 아니라 AI 에이전트가 어떤 콘텐츠를 읽고 어떤 경로로 접근할지까지 고려한 공개 정책을 요구한다는 뜻이다. Google, llms.txt, agentic browsing이 결합되며 웹 가시성과 통제권의 중심이 검색엔진에서 에이전트 호환성 관리로 이동하고 있다.
• 이번 움직임은 검색 결과의 노출 경쟁을 넘어, AI가 사이트 내용을 수집·요약·행동으로 연결하는 단계에서 어떤 사이트가 우선 접근되고 어떤 규칙이 적용되는지 표준화하려는 시도로 해석된다. Google, llms.txt, agentic browsing이 새로운 접점이 되면서 콘텐츠 제공자는 봇 차단이 아니라 허용 범위, 책임 소재, 기계 판독 가능성까지 설계해야 한다. 이는 한국 공공·민간 웹서비스도 향후 에이전트 트래픽을 전제로 한 정책 문서를 마련해야 함을 시사한다.
• 기사는 특정 금액이나 수치를 제시하지 않지만, llms.txt 채택 여부와 에이전트 호환성 점검 자체가 플랫폼 종속 비용을 좌우하는 정성적 지표로 작동한다. 웹사이트 운영자가 Google의 기준에 맞추기 시작하면 사실상 AI 가독성 표준이 사실상의 시장 규범이 될 가능성이 커진다.
• 정책적으로는 검색·브라우징·콘텐츠 유통이 하나의 에이전트 계층으로 묶이면서, 정부는 웹 접근성 정책과 AI 이용 규칙을 분리해서 볼 수 없게 되었다. Google의 점검 기준이 확산되면 국내 포털, 공공데이터, 행정 서비스도 기계 판독성 및 책임 있는 자동 접근 허용 범위를 재정의해야 하며, 이는 디지털 주권과 플랫폼 의존도를 동시에 좌우한다.
• 한국 입장에서는 공공 웹사이트와 주요 민간 서비스에 대해 llms.txt 유사 정책, 자동화 에이전트 허용 목록, 로깅·감사 체계를 마련하는 것이 우선이다. 이를 통해 AI 기반 정보수집의 투명성을 높이고, 무단 크롤링과 과도한 차단 사이의 균형을 확보할 수 있다.

정부는 검색 최적화 관점이 아니라 AI 에이전트 접근 통제의 관점에서 공공 웹 표준을 다시 설계해야 하며, 주요 부처와 공공기관부터 llms.txt와 유사한 공개 규칙을 시험 도입하는 것이 바람직하다.

주요 용어: llms.txt(대형 언어모델과 에이전트가 웹사이트를 더 잘 읽도록 돕는 공개 안내 파일), agentic browsing(AI 에이전트가 검색·탐색·행동을 연결해 수행하는 브라우징 방식), 디지털 주권(플랫폼과 외국 기술에 대한 의존을 줄이고 자국의 데이터·규칙 통제력을 확보하는 개념)

출처: The Decoder