robots.txt 확인
| 보이는 내용 | 의미 |
|---|---|
| User-agent: * / Allow: / | 모든 로봇 전체 허용 |
| User-agent: GPTBot / Disallow: / | 챗GPT 학습 로봇 전체 금지 |
| 파일 없음 | 별도 규칙 없음 |
출처: kimjaeseok.com robots.txt(2026-10-26 확인)
서버 쪽 설정
보도에 따르면 클라우드플레어는 2026년 9월 15일부터 신규 도메인 기본값을 바꿔, 광고가 있는 페이지에서 AI 학습·에이전트 로봇을 기본 차단하고 검색 로봇은 허용한다고 밝혔다. 기존 도메인 적용 여부는 보도에 없다. 해당 서비스 사용자는 대시보드 보안 메뉴의 AI 로봇 설정을 직접 확인하는 것이 확실하다.
출처: Help Net Security, Cloudflare changes AI crawler access rules(2026-07-02)
열지 막을지는 선택이다
AI 학습 사용이 싫다면 학습용 로봇만 막고 검색용은 여는 방법도 있다. AI 답변에 가게나 이름이 나오길 원하는 소상공인·강사라면 열어 둘 이유가 더 크다. 핵심은 모르는 사이에 막혀 있는 상태를 피하는 것이다.
자주 묻는 질문
Q. robots.txt를 열면 AI 답변에 바로 나오나요?
A. 아니다. 읽힐 수 있는 조건일 뿐이며, 인용되려면 손님 질문에 답하는 내용이 있어야 한다.
Q. 네이버 블로그 설정도 바꿀 수 있나요?
A. 블로그의 robots.txt는 네이버가 관리해 블로거가 바꿀 수 없다.
Q. 제작 업체가 만든 홈페이지는 어떻게 고치나요?
A. 보통 제작 업체나 호스팅 관리 화면에서 수정한다. 원하는 상태를 업체에 분명히 요청하면 된다.
이 글은 핵심만 간추린 요약입니다. 더 자세한 내용은 블로그 원문에 있습니다.
블로그에서 이어 읽기
방송영상 전공 · 영상 제작 14년 · 누적 강의 200회+. 부산·부울경에서 AI 활용 영상 제작, 쇼핑몰 운영, AI 마케팅을 가르칩니다.