AI 봇이 읽을 수 있는 웹사이트 만들기
- 게시일
- 최종 수정
- 작성
- EO레이더 에디터
요약
AI 답변엔진 봇은 대부분 자바스크립트를 실행하지 않고 서버가 처음 응답하는 순수 HTML만 읽습니다. 따라서 웹사이트가 AI에게 인용되려면 클라이언트 렌더링에 의존하지 않는 정적 HTML, 명시적인 robots.txt 허용 규칙, 구조화된 메타데이터를 갖춰야 합니다.
순수 HTML로 본문을 제공해야 하는 이유
React나 Vue 같은 프레임워크로 만든 사이트가 브라우저에서 자바스크립트를 실행해야만 본문이 나타나는 구조라면, 자바스크립트를 실행하지 않는 크롤러에게는 본문이 없는 빈 페이지로 보입니다. 서버 사이드 렌더링이나 정적 사이트 생성(Static Export)으로 빌드 시점에 완성된 HTML을 만들어 두는 것이 안전합니다.
확인해야 할 최소 조건
- 첫 응답 HTML 안에 본문 텍스트가 그대로 포함되어 있는지
- 제목(title), 설명(description), 정규 URL(canonical)이 페이지마다 명시되어 있는지
- H2/H3 같은 제목 위계가 논리적으로 구성되어 있는지
robots.txt와 크롤러 허용 설정
GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, Claude-SearchBot, Claude-User, PerplexityBot, Perplexity-User, Google-Extended 같은 AI 전용 크롤러는 일반 검색 크롤러와 별도의 User-agent를 사용합니다. robots.txt에서 이 봇들을 명시적으로 Allow 처리하고, sitemap.xml 위치를 지시자로 안내해야 크롤링 누락을 줄일 수 있습니다.
구조화 데이터(JSON-LD)의 역할
Organization과 Article 스키마를 JSON-LD로 제공하면 AI 엔진이 브랜드명, 발행일, 작성자 같은 정보를 텍스트 추론 없이 정확하게 파싱할 수 있습니다. 이는 인용 시 출처 정보를 정확히 표기하는 데도 도움이 됩니다.