AI 글이 사람 글 앞서도…정체 드러나면 신뢰 급락

AI가 만든 단편, 독자가 인간 작품과 구분 못 하자 보안산업의 ‘평가 방식’ 전환 압박

시드니 시어스와 디나 스콜닉 와이스버그는 ChatGPT 4.0이 쓴 단편소설을 인간 작품과 비교하는 세 실험을 진행해, 참가자 2,500명 이상이 출처를 맞히지 못하자 창작물 판별력이 심리적 기대에 좌우된다는 점을 확인했다.
첫 실험에서는 1,682명이 약 1,000단어 분량의 작품 6편을 읽었고, 그중 3편은 문학잡지와 소설집의 인간 작품, 3편은 같은 주제·문체·시점으로 만든 ChatGPT 4.0 생성본이어서 인간과 기계의 차이가 외형상 거의 드러나지 않았다.
두 번째와 세 번째 실험에서는 905명이 인간 작품과 AI 작품을 직접 대조했는데도 우연 수준을 넘지 못했으며, AI 사용 경험이 있는 참가자만 출처 식별이 조금 나아져 실제 활용 경험이 판단력보다 중요하다는 점이 드러났다.
정량적으로는 1,682명과 905명, 총 2,500명 이상이 참여했고 품질 점수는 AI 1.54 대 인간 0.97, 몰입도는 AI 1.42 대 인간 1.00으로 집계돼, AI 산출물이 최소한의 수용성과 읽기 편의성에서 인간 텍스트를 앞질렀다.
연구진은 AI 텍스트가 더 매끄럽고 읽기 쉬우며 감정적으로 밝아 보이기 때문에 높게 평가받았다고 해석했는데, 이는 한국의 공공 보안조달도 서류 심사보다 실제 침투 저항성과 운영 효율을 검증하는 방식으로 바꿔야 함을 시사한다.
독자가 생성 주체를 알기 전에는 AI 창작을 인간 수준으로 받아들이지만 알게 되면 평가를 낮추는 패턴이 확인돼, 한국 정부는 보안 산업에서 데이터 공개·성능 검증·AI 활용 경험 축적을 묶어 신뢰 기준을 설계해야 한다.