콘텐츠가 AI 학습에 쓰이는 것이 부담스러워 크롤러를 일괄 차단하는 기업이 있습니다. 하지만 학습을 막는 것과 검색 답변에서 사라지는 것은 다른 문제입니다. 둘을 구분하지 않으면 브랜드의 최신 정보가 빠진 자리를 경쟁사와 오래된 외부 자료가 채울 수 있습니다.

*본 콘텐츠는 리드젠랩 Research 게시물을 바탕으로 재구성했습니다.

아마존 사례는 ‘차단의 비용’을 보여줍니다

2,250만 건의 구매 링크 분석에서 1순위 링크는 월마트 8.78%, 타겟 4.93%였습니다. 아마존은 상대적으로 존재감이 약했고, 분석사는 OpenAI 크롤러 차단을 원인으로 추정했습니다. 다른 조사에서도 아마존의 인용률은 12.2%로 마켓플레이스 평균을 낮추는 수준이었습니다. 세계 최대 상품 데이터를 가진 곳도 크롤러가 접근하지 못하면 AI 쇼핑 표면의 자리를 잃을 수 있습니다. 차단은 정보를 통제하는 조치처럼 보이지만, 실제로는 다른 출처가 우리 브랜드를 대신 설명하게 만들 수 있습니다.

학습용과 검색용 크롤러는 별개입니다

OpenAI의 OAI-SearchBot은 검색 결과 수집, GPTBot은 학습 데이터 수집에 쓰입니다. 콘텐츠 학습이 부담이라면 학습용만 막고 검색용은 열어두는 설정이 가능합니다. 퍼플렉시티의 PerplexityBot, 구글 AI 학습 제어의 Google-Extended, 네이버 검색의 Yeti처럼 엔진마다 이름과 역할이 다릅니다. 한 줄의 robots.txt 설정을 복사하기보다 크롤러별 목적을 확인해야 합니다.

열어뒀는데도 못 읽는다면 페이지 구조를 봐야 합니다

페이지 내 링크가 60개를 넘을 때 첫 읽기 중 실제 본문 비율은 약 33%로 떨어졌고, 20개 미만일 때는 약 78%였습니다. 메뉴와 추천 상품이 많은 이커머스 사이트는 크롤러를 허용해도 본문이 뒤로 밀릴 수 있습니다. ChatGPT는 자바스크립트를 렌더링하지 않는 것으로 관찰됐습니다. 리뷰나 사양을 나중에 불러오는 구조라면 허용 여부와 무관하게 내용이 비어 보일 수 있습니다.

모든 콘텐츠를 열어야 한다는 뜻은 아닙니다

유료 구독 매체나 데이터 판매 사업처럼 본문 자체가 상품이라면 유료 구간을 막을 이유가 있습니다. 다만 회사 소개, 서비스 안내, 요금 정보까지 전면 차단하면 브랜드가 답변에 등장할 경로도 사라집니다. 공개 구간과 유료 구간, 검색용과 학습용을 나눠 접근 정책을 설계하는 편이 현실적입니다.

설정 변경 전 기준선을 먼저 남기세요

robots.txt뿐 아니라 방화벽과 CDN 차단, 본문 소스 순서, 자바스크립트 의존도를 함께 확인해야 합니다. 조정 전 인용률을 기록하고, 변경 후 크롤러가 다시 방문할 시간을 둔 뒤 같은 질문으로 비교합니다. 크롤러 정책은 보안팀만의 기술 설정이 아닙니다. 최신 가격과 사양을 AI 답변에 전달할 것인지, 그 자리를 외부의 오래된 정보에 맡길 것인지 결정하는 유통 정책에 가깝습니다.

✔ 실무 적용 체크
robots.txt만 보지 말고 CDN·방화벽 로그에서 실제 크롤러 응답 코드와 방문 이력을 확인하세요. 검색용과 학습용 봇, 공개 페이지와 유료 페이지를 나눠 정책을 적고, 변경 전후 동일 질문의 인용 여부를 기록해야 차단 해제가 성과에 미친 영향을 판단할 수 있습니다.

▶ AI 크롤러를 목적별로 구분해 설정하는 기준을 원문에서 확인해 보세요.

원문과 더 자세한 실무 자료가 필요하신 분들은 하단 링크를 함께 참고해보세요. 

AI 검색 대응, GEO/AEO 전략, 콘텐츠 최적화 관련 인사이트를 계속 정리해드리고 있습니다.

 

➡️ 원문 콘텐츠 보러 가기

 

또 SEO, GEO, AEO처럼 빠르게 바뀌는 검색 환경을 실무자 관점에서 계속 보고 싶다면
관련 인사이트 커뮤니티에서 사례를 함께 확인해보셔도 좋겠습니다.

 

👉 SEO · GEO · AEO 실무 인사이트 오픈카톡 참여하기