AI가 “확신도 90%”라고 말하면 그 숫자를 그대로 믿어도 될까요? 보정이 잘 되었다면 비슷한 조건에서 90%로 평가한 답 가운데 약 90%가 맞아야 합니다. 하지만 한 문제의 진실을 보장하는 숫자는 아니며, 질문 형식이나 새로운 과제로 옮기면 관계가 달라질 수 있습니다. Kadavath와 동료들은 언어모델이 자기 답의 참 가능성과 자신이 답을 알 가능성을 평가할 수 있는지, 여러 과제와 모델 규모에서 조사했습니다.
연구를 읽는 두 가지 질문
P(True)와 P(IK)는 무엇이 다른가?
P(True)는 모델이 이미 제안한 특정 답이 맞을 확률을 다시 평가하게 한 값입니다. 연구진은 TriviaQA, 산술, GSM8K, HumanEval 등에서 답을 생성한 뒤 참·거짓 형식으로 자기평가를 시켰습니다. P(IK)는 특정 답을 보여 주기 전 ‘이 질문을 내가 맞힐 수 있는가’를 예측하도록 별도 값 머리를 훈련한 확률입니다. 후자는 단위 온도에서 여러 번 낸 답의 실제 정답 빈도를 목표로 삼았습니다. [1]
무엇이 잘 되었고 어디서 흔들렸나?
2022년 공개본은 800M, 3B, 12B, 52B 매개변수의 연구용 언어모델을 비교했고, 명시적인 선택지 형식과 few-shot 예시에서 큰 모델의 보정이 좋아지는 경향을 보고했습니다. 여러 자체 샘플을 보여 준 뒤 P(True)를 묻는 방식도 자기평가를 개선했습니다. 그러나 P(IK)는 훈련 분포 안에서는 질문을 구별해도 새 과제에서 보정이 흔들렸고, 연구진도 부분 일반화라고 제한합니다. 이는 현재의 모든 상용 AI나 장문 대화가 잘 보정됐다는 증거가 아닙니다. [1]
더 많이 보류하면 더 믿을 만해질까?
가상 AI가 여덟 질문에 42~95의 확신을 붙였고 정답·오답이 섞여 있습니다. 최소 확신을 70으로 두면 네 답만 내고 나머지는 보류합니다. 기준을 높이면 답한 집단의 정답률이 변하지만 답변 수는 줄어듭니다.
확신 88인 오답이 하나 있기 때문에 기준을 높인다고 정답률이 매번 단조롭게 오르지는 않습니다. 보류한 질문이 특정 분야나 집단에 몰리면 전체 평균이 좋아 보여도 실제 서비스는 불공정해질 수 있습니다. 보정 곡선, 오류 유형, 답변률을 함께 봐야 합니다.
아래 활동은 실제 AI를 호출하지 않습니다. 고정된 가상 예측을 필터링하는 교육 모형입니다. 원 논문의 모델 출력이나 최신 모델 성능으로 해석하지 마세요.
답할 최소 확신을 움직여 보세요
2022년 연구의 실제 모델 출력이 아니라, 확신과 정답 빈도를 구분하기 위한 여덟 개 가상 예측입니다.
답함 4/8 · 그중 정답 3 · 정답률 75%
기준을 높여 보이는 정답률이 오르더라도 남은 질문의 대표성·비용·오류 유형을 따로 확인해야 합니다.
어디까지 말할 수 있을까요?
- 논문은 2022년에 연구진이 훈련한 최대 52B 매개변수 모델과 당시 과제를 다룹니다. 2026년의 다른 모델·도구 사용 환경에 결과를 그대로 옮길 수 없습니다.
- 보정이 좋아도 개별 답의 진위를 증명하지 못하며, 자신감 신호가 조작되거나 분포가 바뀌는 고위험 상황에서는 외부 검증이 필요합니다.
원문에 근거한 한계와 LTCT의 적용 범위 검토입니다. [1]
교육 현장과 연결해 보면
AI 보조 활동에서는 답·근거·확신을 분리해 기록하고, 확신 구간별 실제 정답 빈도를 사후 확인하게 할 수 있습니다. 보류를 실패가 아니라 검증 요청으로 설계합니다.
평가에서는 높은 확신의 오답과 낮은 확신의 정답을 따로 분석하고 새 문항 유형에서 다시 보정합니다.
AI가 잘 보정되었다면 근거 확인을 생략해도 될까요?
생각을 비교할 해설 펼치기
아닙니다. 보정은 비슷한 사례 집합에서 확률과 빈도가 맞는 성질입니다. 특정 답이 왜 맞는지, 출처가 실제 주장을 지지하는지, 질문 분포가 달라졌는지는 별도 확인 대상입니다. 중요한 결정에서는 보정된 자신감도 검증 우선순위를 정하는 보조 신호로 써야 합니다.
원문과 출처 정보
한국어 제목은 이해를 돕기 위한 LTCT 번역입니다. 한글 제목 뒤 괄호에 원제를 함께 표기했습니다. 저자·학술지·원문 버전은 원문 서지정보를 기준으로 확인할 수 있습니다.
언어모델은 대체로 자신이 무엇을 아는지 안다 (Language Models (Mostly) Know What They Know)
Saurav Kadavath et al. (2022). arXiv:2207.05221 [cs.CL].
- 자료 성격
- 공개 프리프린트
- 읽은 버전
- arXiv v4, 2022-11-21 개정(최초 제출 2022-07-11)
- 확인 범위
- v4 공개 HTML의 초록, 방법·모델 규모, P(True)·P(IK) 실험, 분포 밖 보정 결과와 논의를 확인
- 원문 확인일
이 글은 한국어 해설이며 원문 전문 번역이 아닙니다. 도식과 활동의 제작·재구성 범위는 각 그림과 본문에 표시했습니다. 자료 선정과 출처 기준
같은 연구 흐름에서 이어 읽기
같은 원문, 저자·연구 흐름, 공통 개념 태그를 기준으로 연결한 관련 해설입니다.