연구가 주장한 핵심은 무엇인가요?
코넬 테크 연구진이 딥리서치 에이전트가 이용자 생성 콘텐츠로 오염될 수 있다는 프리프린트를 냈습니다. AI 검색이나 딥리서치 기능은 답을 만들 때 웹을 실시간으로 훑는데, 그 웹의 상당 부분이 레딧·위키백과처럼 누구나 글을 올릴 수 있는 곳이에요. 연구진은 이런 사이트에 13단어 안팎의 문장을 의도적으로 심으면 AI가 그걸 신뢰할 근거로 받아들여 가짜 식당이나 사기성 앱을 추천하게 만들 수 있음을 보였습니다.
그럼 챗GPT도 댓글 하나로 조종당하나요?
여기서 정확히 끊어야 해요. 아닙니다. 적어도 이 연구가 그렇게까지 증명한 건 아니에요. 처음부터 끝까지 공격에 성공한 건 오픈소스 연구 도구였고, 우리가 매일 쓰는 챗GPT나 제미나이 같은 상용 도구는 직접 공격하지 않았습니다. 살아있는 인터넷에 진짜 가짜 글을 뿌리는 건 비윤리적이라, 상용 도구는 얼마나 자주 그런 사이트를 인용하는지만 간접 측정했어요.
| 구분 | 무엇을 했나 | 결론 강도 |
|---|---|---|
| 오픈소스 연구 도구 | 끝까지 공격 성공 입증 | 강함 |
| 상용 AI 검색 | 인용 행태만 간접 측정 | 정황 증거 |
그러니 13단어로 챗GPT 조종은 기사가 만든 자극적 압축이고, 연구가 보여준 건 AI 검색이 누구나 쓸 수 있는 글에 생각보다 크게 기댄다는 구조적 약점입니다.
코넬 테크 연구 보도(404 Media). 프리프린트(미심사) 단계.
그래서 얻을 교훈은?
두 가지예요. 하나는 AI 검색 결과를 무비판적으로 믿지 말 것. 출처가 댓글·게시판이면 한 번 더 의심하세요. 다른 하나는 자극적인 기사 자체를 검증하는 연습입니다. 부산에서 AI 리터러시를 가르치는 김재석 강사는 13단어로 AI 조종이라는 제목을 보고 어떤 AI를, 어떤 조건에서, 누가 증명했지라고 되묻는 연습을 권해요. AI를 의심하는 능력은 뉴스를 의심하는 능력과 같은 근육이거든요.
자주 묻는 질문
Q. 프리프린트가 뭔가요? 믿어도 되나요?
A. 정식 심사를 거치기 전 공개한 논문이에요. 참고 가치는 있지만 아직 검증 단계라, 단정적으로 받아들이기보다 이런 연구가 나왔다로 보는 게 안전합니다.
Q. 그럼 AI 검색을 안 쓰는 게 낫나요?
A. 아니에요. 약점을 알고 쓰면 됩니다. 출처를 클릭해 확인하는 습관만 있으면 충분히 유용해요.
Q. 일반 사용자도 이런 조작의 피해를 보나요?
A. 직접 노리는 건 보통 브랜드·마케팅 쪽이지만, 결과적으로 잘못된 추천을 받는 건 일반 사용자죠. 그래서 검증 습관이 모두에게 필요합니다.
이 글은 핵심만 간추린 요약입니다. 더 자세한 내용은 블로그 원문에 있습니다.
블로그에서 이어 읽기