1단계. 크롤러부터 열어주기
제일 먼저 할 일인데 의외로 여기서 막힌 곳이 많아요. robots.txt에서 GPTBot이나 ClaudeBot 같은 AI 수집 프로그램을 막아 두면 그 뒤 작업이 전부 소용없어집니다. 보안 설정이나 서버 기본값 때문에 의도치 않게 막혀 있기도 하고요.
본문이 자바스크립트로만 그려지는 것도 위험해요. AI 수집 프로그램 상당수는 자바스크립트를 실행하지 않아서, 사람 눈에는 보이는 글이 프로그램에게는 빈 페이지입니다.