AI가 자신있게 틀릴 때,어떻게 알아볼까
입문자용© AIKOREACLUB처음이라면
AI가 자신 있게 틀릴 때, 어떻게 알아볼까
AI 답이 그럴듯한데 틀리는 이유를 OpenAI 연구와 각 회사 공식 문서로 설명하고, 믿기 전에 거치는 확인 3단계를 그림으로 보여 줘요. 법·돈·건강은 마지막에 전문가예요
동네 도서관 휴관일을 AI에게 물었더니 "매주 월요일과 공휴일에 쉬고, 운영 시간은 9시부터 22시예요"라고 또박또박 답해요. 믿고 갔다가 문 닫힌 도서관 앞에 서 본 사람이 꽤 많아요. AI는 그 도서관을 몰랐지만, 모른다고 말하는 대신 흔한 도서관의 모습을 답으로 내놓은 거예요.이런 걸 환각(hallucination, AI가 사실처럼 지어낸 답)이라고 불러요. AI는 거짓말을 하려는 게 아니라, 모를 때도 답을 내는 쪽으로 길러졌어요. 왜 그런지, 그리고 답을 받았을 때 3단계로 어떻게 확인하는지 이 편에서 봐요.
그럴듯한데 틀린 답, 이렇게 생겼어요
왜 이럴까요. OpenAI 연구진은 지금까지의 훈련·평가 방식이 "모른다"보다 "찍기"에 점수를 줬다고 설명해요. 시험에서 빈칸은 0점이지만 찍으면 맞을 수도 있으니까요.
그럴듯한 틀린 답이 어떻게 생겼는지 보여 주려고 저희가 지어낸 예시예요. 실제 서비스의 답을 캡처한 것이 아니고, 생일 사례만 OpenAI 논문에 실린 것이에요.
한눈에
무엇인가요
시험 보는 학생처럼 찍어요. OpenAI 연구진이 2025년 9월에 낸 논문은 AI가 어려운 시험 문제를 만난 학생처럼 모를 때 찍는다고 설명해요. 빈칸으로 두면 0점이지만 찍으면 맞을 수도 있으니, 지금까지의 훈련과 평가 방식이 모른다고 말하는 것보다 찍는 쪽에 점수를 줬다는 거예요.같은 질문에 답이 세 번 다 달라요. 그 논문에는 저자의 생일을 '알 때만' 답하라고 세 번 물었더니 AI가 03-07, 15-06, 01-01 세 가지 다른 날짜를 자신 있게 낸 사례가 실려 있어요. 모르는 걸 물으면 답이 매번 흔들리는데, 말투는 늘 확신에 차 있어요.없앨 수는 없고 줄일 수는 있어요. 앤트로픽 문서는 AI에게 "모르면 모른다고 해도 된다"고 미리 말해 주고, 답마다 원문 인용과 출처를 요구하면 틀린 답이 크게 준다고 해요. 다만 같은 문서가 이런 방법으로 많이 줄어도 완전히 사라지지는 않으니 중요한 정보는 늘 따로 확인하라고 적어 두었어요.
이런 분께
- AI 답을 그대로 복사해 보고서나 메일에 넣은 적이 있는 분
- AI가 알려 준 숫자나 날짜가 틀려서 곤란했던 분
- 어디까지 믿고 어디서부터 확인해야 하는지 기준이 없는 분
공식 문서가 말하는 것(확인 2026-11-03)
| 항목 | 값 | 출처 |
|---|---|---|
| 왜 틀리나 | 훈련·평가 방식이 모른다고 말하기보다 찍기에 점수를 줘서. 시험 보는 학생 비유 | OpenAI 연구 논문 'Why Language Models Hallucinate'(2025-09) ↗ |
| 실제 사례 | 저자 생일을 '알 때만' 답하라고 세 번 물었더니 03-07, 15-06, 01-01 세 가지 틀린 날짜 | 같은 논문 1장 ↗ |
| 줄이는 법 | '모른다'고 말할 허락, 원문 인용, 출처 확인. 크게 줄지만 완전히 없애지는 못함 | 앤트로픽 클로드 문서 '환각 줄이기' ↗ |
| 제미나이 출처 보기 | 답 아래나 본문 안의 '출처' 단추로 관련 링크를 열어 봄. 모든 답에 출처가 있지는 않음 | 구글 제미나이 앱 도움말 ↗ |
| ChatGPT 안내 | 페이지를 열지 못했어요. 'ChatGPT는 늘 맞나요' 도움말을 공식 페이지에서 확인 | OpenAI 도움말 ↗ |
확인 2026-11-03. 요금과 한도는 자주 바뀌어요. 결제 전에 공식 페이지에서 다시 확인하세요.
확인 3단계, 이렇게 돌려요
1단계, 출처를 달라고 해요. 답을 받으면 "이 내용의 근거가 된 문서나 주소를 알려 줘"라고 다시 물어요. 주소가 나오면 직접 열어서 그 페이지에 정말 그 내용이 있는지 봐요. 없는 주소, 열리지 않는 주소, 열리지만 내용이 다른 주소는 모두 '근거 없음'이에요.2단계, 다른 곳에서 한 번 더 봐요. 공식 사이트(기관·회사 누리집), 일반 검색, 다른 AI 중 하나에 같은 질문을 해요. 같은 답이 나오면 믿을 만하고, 답이 흔들리면 아직 모르는 거예요. 이 단계까지가 일상 질문(일정·장소·용어·요약)의 기준이에요.3단계, 큰 결정은 전문가에게 가요. 법·세금·돈·건강·채용처럼 틀리면 손해가 큰 일은 AI 답을 '물어볼 내용 정리'로만 쓰고, 최종 판단은 전문가나 공식 기관에서 받아요. AI가 만든 질문 목록을 들고 가면 상담 시간이 줄어요.세 단계를 늘 다 돌리는 건 아니에요. 점심 메뉴 추천은 0단계, 보고서에 넣을 숫자는 2단계, 계약서 조항은 3단계예요. 틀렸을 때 잃는 게 클수록 단계를 높여요.
할 수 있는 일
바로 쓸 수 있나요
필요한 것AI 서비스 하나와, 답을 확인할 인터넷 검색. 따로 설치할 것은 없어요
비용무료
오늘 해 볼 순서
- 최근에 받은 AI 답 하나 꺼내기
숫자나 날짜, 이름이 들어 있는 답이면 좋아요. 없으면 아래 질문을 그대로 해 보세요.
[우리 동네] 시립도서관 휴관일과 운영 시간을 알려 줘 - 출처를 달라고 하기
주소가 나오면 직접 열어 보세요. 안 나오거나 열리지 않으면 그 문장은 아직 근거가 없는 거예요.
방금 답의 근거가 된 공식 페이지 주소를 알려 줘. 확실하지 않은 부분은 '확실하지 않음'이라고 따로 표시해 줘 - 모른다고 말할 자리를 미리 주기
다음부터는 질문 끝에 이 한 줄을 붙여요. 앤트로픽 문서가 첫 번째로 권하는 방법이에요.
확실하지 않거나 자료가 부족하면 지어내지 말고 '모르겠다'고 답해 줘 - 다른 곳에서 교차 확인
공식 누리집이나 검색에서 같은 내용을 찾아 비교해요. 제미나이는 답 아래 '출처' 단추가 있을 때 거기서 바로 열 수 있어요.
- 큰 결정이면 질문 목록만 들고 전문가에게
법·세금·돈·건강·채용이면 여기서 멈춰요. AI에게는 '상담 때 물어볼 질문 5개'만 정리해 달라고 하세요.
이 상황에서 [세무사/변호사/의사]에게 상담할 때 물어볼 질문을 5개로 정리해 줘. 판단은 하지 말고 질문만 만들어 줘
확실하지 않거나 자료가 부족하면 지어내지 말고 '모르겠다'고 답해 줘
이 한 줄을 질문 끝에 붙이는 것만으로 '찍는' 답이 눈에 띄게 줄어요. 다만 완전히 없어지지는 않아요.믿기 전에 거치는 확인 3단계
1출처를 달라고 해요
2다른 곳에서 한 번 더
3큰 결정이면 전문가
확인 3단계가 어떻게 돌아가는지 보여 주려고 저희가 지어낸 예시예요. 답변, 출처, 마감일, 복용법은 모두 가짜이고 실제 기관이나 약과 관계없어요. 3단계 원칙(앤트로픽 문서: 줄어들지만 사라지지 않으니 중요한 정보는 늘 확인)만 공식 문서에서 가져왔어요.
비슷한 도구
앞 편(질문법)은 틀린 답을 줄이는 쪽, 다음 편(자료 안전)은 확인하려고 자료를 넣을 때 조심할 점이에요.
자주 묻는 것
- 검색 기능을 켜면 다 맞나요?
- 검색을 켜면 최근 정보와 출처 링크가 붙어서 확인하기는 쉬워져요. 그래도 AI가 링크 내용을 잘못 요약할 수 있으니 중요한 건 링크를 직접 열어 보세요.
- 유료 모델은 틀리지 않나요?
- OpenAI 논문은 최신 모델도 환각이 여전히 있다고 적어요. 줄어들긴 해도 0은 아니라서 확인 단계는 요금제와 상관없이 필요해요.
- AI가 '확실해요'라고 하면 믿어도 되나요?
- 말투와 정확도는 따로예요. 논문 속 생일 사례처럼 틀린 답도 확신에 찬 말투로 나와요. 말투 말고 출처로 판단하세요.
- AI한테 '네가 틀렸어'라고 하면 고쳐 주나요?
- 사과하고 다른 답을 내놓지만 그 답도 맞다는 보장은 없어요. 고쳐 달라고 하기보다 근거 문서를 넣고 '이 문서만 근거로 다시 답해 줘'라고 하는 편이 나아요.
주의할 점
- 법·세금·돈·건강·채용 판단은 AI 답이 정답이 될 수 없어요. 최종 판단은 전문가나 공식 기관에서 확인하세요. 이 사이트의 모든 자료에 같은 원칙이 적용돼요.
- AI가 알려 준 책·논문·기사 제목은 존재하지 않을 수 있어요. 인용하기 전에 도서관이나 검색에서 실제로 있는지 찾아보세요.
- 답을 확인하려고 비밀 정보(계약서 원문, 진료 기록)를 그대로 넣지 마세요. 가려서 넣는 법은 다음 편에서 다뤄요.
- 이 편의 그림 속 답변은 설명을 위해 저희가 지어낸 예시예요. 실제 서비스의 답을 캡처한 것이 아니에요.
더 보기
OpenAI 연구 논문: 왜 언어 모델은 환각을 내나(PDF) ↗앤트로픽: 환각 줄이기 ↗구글 제미나이 도움말: 답의 출처 보기 ↗OpenAI 도움말: ChatGPT는 늘 맞나요(직접 열지 못함) ↗
낯선 말
- 환각(hallucination) · AI가 모르는 내용을 사실처럼 그럴듯하게 지어내는 현상이에요
- 출처(근거) · 그 내용이 적힌 원래 문서나 페이지예요. 열어서 확인할 수 있어야 출처예요
- 교차 확인 · 같은 내용을 서로 다른 곳 두 군데 이상에서 찾아 비교하는 일이에요
- 검색 기능(웹 검색) · AI가 답할 때 인터넷을 찾아보고 링크를 붙이는 기능이에요. 서비스마다 켜는 단추가 있어요
- YMYL · Your Money or Your Life의 줄임말로, 돈과 삶에 큰 영향을 주는 분야(법·돈·건강)를 가리키는 말이에요
댓글
AI 답은 참고 자료예요. 법·세금·돈·건강처럼 삶에 큰 영향을 주는 일에서는 AI 답이 정답이 될 수 없어요. 최종 판단은 전문가나 공식 기관에서 확인하세요.
