llms.txt 꼭 필요할까? 도입 전 따져볼 4단계
BaRam
소요시간 15분
‘llms.txt 하나 루트에 올려두면 Perplexity나 Google AI가 알아서 우리 글을 인용해 줄까?’ 결론부터 말하면 기대부터 내려놓아야 합니다. llms.txt는 AI 검색 순위를 높이거나 크롤링·인용을 보장하는 파일이 아니므로, 어떤 시스템이 읽는지 확인하고 유지 부담이 낮을 때 도입하는 편이 낫습니다.
“파일을 올리면 Google AI 검색에 자동으로 인용될까요?”라는 기대부터 조정해야 해요. 구글 검색(Google Search)은 llms.txt 파일을 무시한다는 입장을 서면으로 밝히고 있으며, Google은 AI Overviews 등에 별도의 AI 전용 파일이 필요하지 않다고 안내합니다. 또한 2024년 9월 규약 제안 이후 주요 AI 제공업체 중에서도 해당 파일 지원을 공식 문서화한 곳은 찾기 어렵습니다. (Google 검색 문서, MacMD Viewer의 지원 현황 정리)
llms.txt는 robots.txt처럼 크롤러 접근을 허용하거나 차단하지 않아요. 사이트의 핵심 콘텐츠를 골라 보여주는 보조 인덱스 제안에 가까워요. 아래 4단계로 페이지를 선정하고, 파일을 작성·배포한 뒤 실제로 쓸모가 있는지 점검해 보세요.
Step 1: llms.txt 작성법에 앞서 넣을 페이지를 고르세요
llms.txt 작성을 위한 페이지 선별의 핵심은 전체 URL 중 AI 답변에 직접 인용될 가치가 있는 최신의 정확한 공개 페이지만 좁혀내는 작업입니다. 링크를 많이 넣는 것보다 질문에 명확하게 답하는 대표 문서를 고르는 편이 효율적입니다. 먼저 파일의 역할을 기존 검색 관련 파일과 명확히 구분해 두세요.
| 파일 | 주된 역할 |
|---|---|
| robots.txt | 크롤러의 접근 관련 규칙 안내 |
| sitemap.xml | 사이트의 URL 목록 제공 |
| llms.txt | 선별한 핵심 콘텐츠를 마크다운 목차로 안내 |
llms.txt는 복잡한 HTML 내비게이션이나 스크립트에 가려질 수 있는 핵심 콘텐츠를 간결하게 찾아가도록 돕는다는 취지로 제안됐어요. 2024년 9월 Answer.AI의 제레미 하워드(Jeremy Howard)가 제안한 마크다운 기반의 웹사이트 규격이에요. 다만 제안의 취지가 실제 AI 검색 시스템의 채택을 뜻하지는 않아요. (MarkdownFormatting, Profound)
페이지를 고를 때는 모든 URL을 채우려 하지 말고, 중복되거나 비공개인 문서를 제외한 채 질문에 답하는 최신 대표 페이지만 간결하게 선별하세요.
다음 단계에서는 이 목록을 실제 파일로 옮깁니다. 형식은 단순하지만, 요약을 길게 쓰거나 링크 설명에 모호한 말만 넣으면 목차의 역할이 흐려져요.
Step 2: llms.txt 마크다운 목차와 짧은 요약으로 작성하세요
llms.txt의 기본 구조는 프로젝트 이름을 적은 단일 H1, 선택 사항인 블록 인용 요약, 목적별 H2와 선별 링크 순서예요. 규격 전체에서 유일하게 필수적인 구성 요소는 사이트 또는 프로젝트 이름을 나타내는 단 1개의 H1(#) 헤더예요. 요약과 섹션은 콘텐츠를 빠르게 파악하도록 돕는 선택 요소입니다. (MarkdownFormatting)
아래 틀을 복사한 뒤 대괄호 부분을 실제 정보로 바꿔 보세요.
[사이트 또는 프로젝트 이름]
[사이트의 목적과 주요 콘텐츠를 한두 문장으로 설명해요.]
시작하기
- 핵심 소개 문서: [이 문서가 답하는 질문을 짧게 설명해요.]
- 주요 사용 안내: [대상 독자와 문서의 범위를 설명해요.]
주제별 가이드
- 대표 가이드: [핵심 내용을 구체적으로 요약해요.]
자주 묻는 질문
- FAQ 문서: [어떤 질문에 답하는지 설명해요.]
요약은 페이지 내용을 통째로 옮기기보다 **사이트가 다루는 범위와 독자가 찾을 수 있는 정보**를 짧게 밝혀 주세요. 링크 설명에는 “유용한 문서”처럼 두루뭉술한 표현 대신 “초기 설정 절차와 필수 항목 안내”처럼 문서의 답을 적는 편이 좋아요.
토큰 한도는 보편적으로 정해진 값이라고 단정하지 마세요. 규격에 모든 사이트가 따라야 할 공통 토큰 수나 AI 검색엔진의 우선 파싱 규칙이 정해져 있는 것은 아니에요. 우선 짧고 탐색하기 쉬운 파일을 만들고, 설명이 겹치거나 오래된 링크부터 덜어내면 됩니다. 2024년 9월 3일에 발표된 규약 원문에 따르면, 언어 모델과 에이전트가 추론 시점에 읽기 쉽도록 XML 같은 기존 구조화 포맷 대신 마크다운 형식을 의도적으로 채택했습니다. ([MacMD Viewer](https://macmdviewer.com/blog/llms-txt-guide))
여기서 한 가지를 더 구분해야 해요. 슬래시 커맨드나 API에서 이 파일을 직접 불러오도록 만들 수는 있지만, 그런 연결 방식은 모든 AI 검색엔진이 따르는 공통 표준이 아니에요. 특정 에이전트나 자체 API가 llms.txt를 읽도록 구성했다면 그 연동 환경에서 따로 확인해야 합니다.
## Step 3: llms.txt 파일을 루트에 게시하고 링크를 확인하세요
**llms.txt를 배포하는 표준 핵심 방법은 도메인 최상위 루트 경로인 `/llms.txt`에 파일을 업로드하고 외부 접근 권한을 확인하는 것입니다.** 게시 직후 브라우저에서 공개 URL로 정상 출력되는지, 파일에 기재된 하위 링크가 리다이렉트나 오류 없이 정상 접근되는지 직접 검증해야 합니다. 파일이 서버에 존재한다는 사실만으로 AI 크롤러가 이를 자동으로 발견하거나 파싱한다고 볼 수는 없습니다.
<figure>
<img src="https://mpmnpiknksqshbrlfpox.supabase.co/storage/v1/object/public/blog-images/1/blog/auto/1791527036089-visual-1.webp" alt="스마트폰과 노트북으로 배포된 llms.txt 파일 경로를 확인하는 모습" width="1200" height="800" loading="lazy" decoding="async" />
<figcaption>도메인 루트에 업로드한 파일의 링크가 정상 작동하는지 검증</figcaption>
</figure>
게시 전후에는 아래 항목을 점검하세요.
1. `https://사이트도메인/llms.txt`를 브라우저에서 열어 파일 내용이 보이는지 확인해요.
2. 링크를 하나씩 열어 공개 페이지로 연결되는지 살펴봐요.
3. 로그인 화면, 접근 거부, 리다이렉트 등으로 실제 문서에 도달하지 못하는 링크가 없는지 확인해요.
4. 수정한 파일이 배포된 버전과 일치하는지 다시 확인해요.
하위 경로인 `/docs/llms.txt` 배치를 허용하는 v2 제안도 있어요. 하지만 하위 경로에 둔 파일을 시스템이 자동으로 찾는다는 뜻은 아니에요. 기본적으로 루트에 두고, 하위 경로를 선택한다면 해당 파일을 읽을 시스템이나 에이전트가 위치를 명시적으로 알도록 해야 합니다. ([LLM Pulse](https://llmpulse.ai/blog/llms-txt-guide/))
## Step 4: llms.txt 접근 기록과 AI 검색 인용을 따로 살펴보세요
**llms.txt 배포 후 성과를 확인하는 핵심 방법은 서버 로그의 파일 요청 기록과 실제 AI 검색 엔진의 답변 인용 여부를 완전히 분리해 측정하는 것입니다.** 파일 요청이 발생했다고 해서 AI 인용으로 이어졌다고 볼 수 없으며, 두 지표는 독립적인 신호로 다루어야 합니다.
- **파일 요청:** 서버 로그에서 `/llms.txt` 요청이 있었는지 확인해요. 요청이 없다고 해서 사이트 콘텐츠 전반에 문제가 있다고 단정할 수는 없어요.
- **콘텐츠 상태:** 파일에 넣은 페이지가 공개 상태이고, 내용이 최신이며, 실제 질문에 답하는지 확인해요.
- **AI 검색 인용:** 같은 질문과 브랜드·주제를 두고 AI 답변에서 해당 페이지가 출처로 제시되는지 관찰해요. 변화가 있어도 llms.txt 하나만의 효과라고 단정하지 마세요.
AI 답변은 질문 표현이나 시점에 따라 달라질 수 있어요. 게시 전후 데이터를 비교하더라도 콘텐츠 수정, 사이트 변경, 검색 시스템의 차이가 함께 영향을 줄 수 있기 때문이에요. 검색 답변의 브랜드 언급과 출처를 살펴보는 모니터링 도구를 활용하더라도, 측정 결과와 파일의 인과관계는 별도로 판단해야 해요.
> **흔한 실수와 주의사항**
>
> - llms.txt를 robots.txt처럼 크롤러 허용·차단 규칙으로 설명하지 마세요.
> - 파일을 게시하면 AI 검색 인용이 늘어난다고 약속하지 마세요. Google이 AI 기능을 위해 별도 AI 파일을 요구하지 않는다는 점도 함께 고려해야 해요. ([Google 검색 문서](https://developers.google.com/search/docs/fundamentals/ai-optimization-guide?hl=ko))
> - 링크를 많이 넣기 위해 중복 페이지나 접근할 수 없는 문서를 추가하지 마세요.
> - `/docs/llms.txt`에 파일을 올렸다면 자동 발견을 기대하지 말고, 실제 소비 주체가 그 경로를 알고 있는지 확인하세요.
> - 슬래시 커맨드나 API 연동을 보편적인 검색엔진 표준처럼 안내하지 마세요. 명시적으로 해당 파일을 읽도록 구성된 시스템과 그렇지 않은 시스템은 구분해야 해요.
## llms.txt 공개 전 최종 체크리스트
**llms.txt 공개 전 점검의 핵심은 문법적 완성도와 함께 파일을 실제로 소비할 AI 시스템 및 정기적으로 내용을 갱신할 운영 담당자가 존재하는지 확인하는 것입니다.** 단순한 파일 생성을 넘어 실제 운영 가능한 상태인지 다음 기준에 따라 최종 평가하세요.
- [ ] 공개 콘텐츠 중 최신이고 정확한 대표 페이지를 골랐나요?
- [ ] 사이트·프로젝트 이름을 단일 H1로 적었나요?
- [ ] 요약은 짧고, 링크 설명은 각 문서의 내용을 구체적으로 나타내나요?
- [ ] 공통 토큰 한도나 AI 검색 우선 파싱 규칙이 있다고 단정하지 않았나요?
- [ ] 루트 또는 선택한 하위 경로에서 파일을 열 수 있나요?
- [ ] 파일 안의 링크가 공개 페이지로 연결되나요?
- [ ] 파일을 읽도록 설정한 에이전트·API가 있다면 그 연동을 별도로 검증했나요?
- [ ] 파일 요청과 AI 검색 인용을 서로 다른 지표로 보고 있나요?
- [ ] 콘텐츠가 바뀔 때 파일도 갱신할 담당자를 정했나요?
이 항목을 충족하고, 파일을 실제로 읽을 시스템이 있으며, 지속적인 업데이트가 부담스럽지 않다면 llms.txt를 보조 인덱스로 도입해 볼 만해요. 그 조건이 없다면 우선순위는 파일 게시보다 공개 콘텐츠의 정확성과 접근성을 점검하는 데 둘 수 있습니다. GEO 측정과 다음 실행 우선순위를 함께 살펴보고 싶다면 [BaRam](https://www.baram.live)을 확인해 보세요.
**함께 읽으면 좋은 글**: [챗GPT에 사이트 안 나올 때 robots.txt 점검](https://www.baram.live/blog/%EC%B1%97gpt%EC%97%90-%EC%82%AC%EC%9D%B4%ED%8A%B8-%EC%95%88-%EB%82%98%EC%98%AC-%EB%95%8C-robotstxt-%EC%A0%90%EA%B2%80) · [AI 검색 도입 후 체험 공방 예약률 30% 올린 비결](https://www.baram.live/blog/ai-%EA%B2%80%EC%83%89-%EB%8F%84%EC%9E%85-%ED%9B%84-%EC%B2%B4%ED%97%98-%EA%B3%B5%EB%B0%A9-%EC%98%88%EC%95%BD%EB%A5%A0-30-%EC%98%AC%EB%A6%B0-%EB%B9%84%EA%B2%B0)
## llms.txt 관련 자주 묻는 질문
### Q1. llms.txt를 도메인 루트에 올리면 구글 AI 검색 인용이 늘어나나요?
그렇지 않습니다. 구글 검색(Google Search)은 llms.txt 파일을 무시한다는 공식 서면 입장을 밝히고 있으며, 2024년 9월 규약이 처음 제안된 이후 현재까지 주요 AI 제공업체 중 해당 파일 지원을 공식 문서화한 곳은 없습니다. 따라서 AI 검색 결과의 인용 순위 상승이나 노출 보장을 기대하며 도입하는 것은 적절하지 않습니다.
### Q2. llms.txt 파일 규격에서 문법적으로 반드시 작성해야 하는 필수 요소는 무엇인가요?
2024년 9월 3일 발표된 규약 원문에 따르면, 파일 전체에서 유일하게 필수적인 구성 요소는 사이트 또는 프로젝트 이름을 나타내는 단 1개의 H1(#) 헤더뿐입니다. 선택 사항인 1개의 블록 인용구(>) 요약과 목적별 선별 링크를 담은 H2 섹션은 그 뒤에 순서대로 배치하여 언어 모델의 빠른 구조 파악을 돕습니다.
### Q3. 기존 sitemap.xml이 있는데 왜 별도의 마크다운 기반 형식이 제안되었나요?
sitemap.xml이 사이트 내 수천, 수만 개의 URL 전체를 검색 로봇에 기계적으로 나열해 주는 XML 포맷이라면, llms.txt는 언어 모델과 AI 에이전트가 추론 시점에 핵심 페이지를 쉽게 파악하도록 돕는 마크다운 목차입니다. 2024년 9월 제안 당시 복잡한 XML 파싱 비용을 줄이고 추론 효율을 높이기 위해 의도적으로 간결한 마크다운 형식을 채택했습니다.
*이 콘텐츠는 AI의 도움을 받아 작성되었으며, BaRam 팀이 내용을 검토하였습니다.






