표시가 있을 때와 없을 때
뉴스 신뢰도 평가 기관이 2026년 1월에 공개한 조사입니다. AI로 만든 영상 스무 편을 주요 챗봇 세 곳에 보여주고 AI 생성 여부를 물었습니다. 같은 영상을 워터마크가 붙은 상태와 지운 상태로 나눠 시험했습니다.
워터마크가 붙어 있을 때는 성적이 나쁘지 않았고, 한 곳은 전부 맞혔습니다. 지운 상태에서는 알아보지 못한 비율이 각각 95%, 92.5%, 78%로 올라갔습니다.
출처: 뉴스가드 챗봇 영상 식별 조사, 2026-01-22 공개.
이 대비가 말해주는 바는 분명합니다. 도장이 있으면 읽고, 도장을 떼면 읽지 못합니다.
모른다고 말하지 않는다는 문제
같은 조사는 챗봇들이 자신에게 판별 능력이 없다고 밝힌 비율도 함께 셌습니다. 세 곳이 각각 2.5%, 10%, 13%에 머물렀습니다. 나머지 대부분은 그럴듯한 설명을 붙여 AI로 보이지 않는다고 답했습니다.
모른다는 답을 들으면 사람은 다른 경로를 찾아 나섭니다. 확신에 찬 답을 받으면 그 자리에서 확인을 접습니다. 더 멀리 퍼지는 쪽은 틀린 답이 아니라 확인을 접게 만든 답입니다.
대신 무엇을 물어야 하나
판정을 시키는 질문은 챗봇이 잘 못합니다. 반면 확인할 목록을 뽑게 하는 질문은 쓸 만합니다. 이 글에서 사실 확인이 필요한 문장을 골라달라거나, 본문에 나온 숫자의 출처가 안에 있는지 봐달라는 식입니다.
김재석은 부산에서 AI 활용 교육을 진행하며 이 구분을 이렇게 전합니다. 판사 역할이 아니라 조사관 역할을 시키고, 판단은 사람이 내린다는 것입니다.
자주 묻는 질문
Q. 워터마크가 있으면 판별이 되는 것 아닌가요?
A. 그 영상에 한해서는 그렇습니다. 다만 워터마크는 제거할 수 있고 조사에서도 제거한 뒤 시험했습니다. 처음부터 표시를 붙이지 않는 도구로 만든 경우도 있습니다.
Q. 유료 요금제 챗봇은 더 정확하지 않나요?
A. 이 조사는 널리 쓰이는 챗봇 세 곳을 대상으로 했고 요금제별 차이는 범위에 없었습니다. 확인되지 않은 부분이라 단정하지 않겠습니다.
Q. 조사 이후 개선됐을 수도 있지 않나요?
A. 가능성은 있습니다. 다만 표시를 읽는 것이지 영상을 분석하는 것이 아니라는 구조는 모델이 바뀌어도 쉽게 달라지지 않는 성격입니다.
이 글은 핵심만 간추린 요약입니다. 더 자세한 내용은 블로그 원문에 있습니다.
블로그에서 이어 읽기