robots.txt AI 수집 막기·허용

AI 수집 프로그램은 하는 일이 두 갈래입니다

이름은 비슷해 보여도 하는 일은 다릅니다.

한쪽은 AI 검색과 답변에 쓸 글을 읽습니다. OAI-SearchBot, ChatGPT-User, PerplexityBot 같은 이름이 여기에 들어갑니다. 누가 질문하면 답을 만들고 출처를 붙이려고 글을 가져갑니다.

다른 쪽은 AI 학습 자료를 모읍니다. GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, CCBot 같은 이름입니다.

Google-Extended와 Applebot-Extended는 특히 헷갈립니다. 이 둘을 막아도 구글과 애플의 일반 검색 결과에는 내 사이트가 그대로 나옵니다. 일반 검색 수집 프로그램이 따로 움직이기 때문입니다.

막았을 때와 열었을 때 달라지는 것

열어 두면 AI 답변에 내 글이 출처로 걸릴 수 있습니다. 대신 학습 자료로도 쓰일 수 있습니다.

막으면 그 서비스는 내 글을 읽지 못합니다. 읽지 못한 글은 답변에 인용되지도 않습니다.

학습에 쓰이는 것만 싫다면 학습 쪽 이름만 막고 검색·답변 쪽은 열어 두면 됩니다.

robots.txt는 부탁이라는 점도 알아 두세요. 이름이 알려진 큰 서비스는 이 부탁을 따릅니다. 따르지 않는 프로그램은 이 파일로 막을 수 없습니다.

이름을 따로 적은 프로그램은 맨 위 묶음을 읽지 않습니다

robots.txt에는 보통 맨 위에 「모든 프로그램」에게 하는 말이 있습니다. 그 아래에는 특정 프로그램 이름을 붙여 그 프로그램에게만 하는 말을 적습니다.

이름을 따로 적어 준 프로그램은 자기 이름이 붙은 묶음만 읽습니다. 맨 위 묶음에서 막아 둔 주소가 있어도 그 프로그램에게는 적용되지 않습니다. 그래서 꼭 막아야 할 주소가 있다면 그 이름 묶음에도 같이 적어야 합니다. 이 부분을 빠뜨리면 다른 프로그램에게는 막힌 주소가 그 프로그램에게만 열립니다.

저희 사이트는 AI 쪽을 열어 두었습니다

저희 사이트 robots.txt의 맨 위 「모든 프로그램」 묶음은 관리자 화면 주소만 막습니다. 화면 일부를 불러오는 파일 하나는 열어 둡니다. 이 부분은 워드프레스가 스스로 만드는 기본값과 같습니다. 그 아래에는 사이트 글 목록(사이트맵) 주소가 있습니다. 검색 프로그램은 robots.txt를 먼저 읽으니까 여기서 글 목록을 찾아갑니다.

2026년 9월에는 그 아래에 AI 검색·답변 서비스가 쓰는 수집 프로그램 13개의 이름을 하나씩 적고 모두 열어 두었습니다.

사실 이 줄이 없어도 지금은 열려 있습니다. 그런데도 따로 적은 건 나중에 누가 맨 위 묶음을 조여도 AI 쪽은 열린 채로 남게 하려고서입니다. 앞에서 말했듯 이름을 따로 적은 프로그램은 맨 위 묶음을 읽지 않으니까요.

열어 둔 건 AI 답변에 저희 글이 출처로 걸리게 하고 싶어서입니다. 그러려면 그 서비스가 글을 읽을 수 있어야 합니다. 막아 두면 읽지 못하고, 읽지 못한 글은 인용되지 않습니다.

내 사이트 robots.txt 열어서 확인할 두 곳

주소창에 내 사이트 주소를 넣고 뒤에 /robots.txt를 붙여 열어 보세요. 맨 위 「모든 프로그램」 묶음에 「Disallow: /」 한 줄만 있다면 검색 전체가 막혀 있는 겁니다.

같은 화면에서 GPTBot이나 ClaudeBot 같은 이름이 있는지도 보세요. 이름이 있으면 그 아래 줄이 막힘인지 열림인지 확인합니다. 그러면 지금 내 사이트가 AI 쪽에 무엇을 허락하고 있는지 알 수 있습니다.

검색 등록과 AI 수집 설정을 같이 맡기고 싶으시면 검색 등록 서비스를 이용하실 수 있습니다.