2026년 10월 28일·소요시간 12분robots.txt 작성법: 기본 문법 4가지와 AI 크롤러 허용, 차단 설정robots.txt 작성법을 User-agent, Disallow, Allow, Sitemap 네 줄 문법과 규칙 충돌, 오류 처리까지 정리했어요. 국내 906곳 중 21.6%가 GPTBot을 막은 실측과 AI 크롤러 설정 예시도 담았어요.#robots.txt#AI 크롤러#기술 SEO