AKC NEWS정보·통계2026년 11월 3일

AI에게 '네, 진행해 주세요'라고 답하자 오히려 실수가 늘었다

국내 블로그 'Review or Reviews' 운영자가 11월 3일 실험 결과를 올렸다. AI 6종에게 컴퓨터 작업 과제 100개를 5번씩 시켰더니, AI가 '진행할까요'라고 물을 때 '네, 진행해 주세요'라고만 답하면 오히려 성적이 떨어졌다.

• 과제는 AI가 메시지 보내기, 주식 거래 같은 프로그램 기능을 직접 써서 일을 끝내는 시험이다.
• 시험한 AI는 앤트로픽의 유료 AI 클로드 소넷 5.5·하이쿠 5.5와, 내 컴퓨터에서 돌리는 무료 공개 AI 4종이다.
• 많은 실패는 AI가 '진행할까요'라고 묻고 멈춘 경우였다.
• '네, 진행해 주세요'라고 답하자 AI가 시키지 않은 일까지 해서 실패가 늘었다.
• 클로드 소넷은 5번 모두 성공한 과제가 57개에서 43개로 줄었다.
• '요청한 것만 그대로 진행해 주세요'라고 답하면 점수가 원래와 거의 같았다.
• 게임용 그래픽카드 한 장에서 돌린 무료 AI '젬마4 26B'는 5번 모두 성공한 과제가 60개로, 소넷(57개)과 비슷했다.

의미AI에게 일을 맡길 때 '알아서 해'보다 '시킨 것만 해'라고 범위를 정해 주는 편이 실수를 줄인다는 실용적인 결과다.