AI가 모르는 질문에도 반드시 답하게 하면 그럴듯한 오류가 생길 수 있습니다. 그렇다면 확신이 낮을 때 보류하도록 하면 안전해질까요? 답한 질문의 정확도는 좋아질 수 있지만, 얼마나 많은 질문을 남겼는지까지 함께 봐야 판단이 완성됩니다.
연구를 읽는 두 가지 질문
모델이 자기 답을 평가할 수 있을까?
Kadavath 등은 언어모델이 먼저 답을 만들고 그 답이 참일 확률 P(True)을 평가하도록 하는 방법을 조사했습니다. 연구는 여러 과제에서 자기평가와 실제 정답 사이의 관계를 분석하지만, 자기평가가 언제나 정확하거나 모든 배치에서 그대로 유지된다고 주장하지 않습니다. [1]
정확도와 커버리지는 왜 함께 봐야 할까?
확신 기준 아래의 답을 보류하면 답한 집합이 달라집니다. 선택적 예측에서는 답한 항목 안의 성능뿐 아니라 전체 중 얼마나 답했는지를 함께 봅니다. 기준이 높을수록 남는 항목이 적어질 수 있으므로 두 값을 한 쌍으로 기록해야 합니다. [1]
여덟 질문 중 무엇에 답할까?
가상 AI가 여덟 질문마다 40%부터 95%까지의 확신값을 냈다고 해 봅시다. 답할 최소 확신을 70%로 두면 기준 이상인 질문만 답하고 나머지는 보류합니다. 아래 조작은 실제 모델 출력이 아니라 확신 기준과 결과 집합의 관계를 보기 위한 고정 자료입니다.
기준을 높이면 답한 질문 중 정답 비율이 오를 수 있지만, 답한 질문 수는 줄어듭니다. 아무 질문에도 답하지 않으면 분모가 0이므로 정답률을 정의할 수 없습니다. 보류를 포함한 전체 업무의 성공률과 같다고 읽어서는 안 됩니다.
Kadavath 등의 연구는 모델이 낸 답 뒤에 그 답이 참일 확률 P(True)을 평가하게 하는 방식을 조사했습니다. 이 글은 그 연구의 실제 수치나 모델 성능을 재현하지 않고, 자기평가가 선택적 예측에 어떻게 연결되는지만 설명합니다.
확신 기준을 바꾸어 답변 범위 확인하기
2022년 연구의 실제 모델 출력이 아니라, 확신과 정답 빈도를 구분하기 위한 여덟 개 가상 예측입니다.
답함 4/8 · 그중 정답 3 · 정답률 75%
기준을 높여 보이는 정답률이 오르더라도 남은 질문의 대표성·비용·오류 유형을 따로 확인해야 합니다.
어디까지 말할 수 있을까요?
- 연구가 다룬 자기평가 방법과 이 페이지의 여덟 가상 예측은 다릅니다. 활동의 정답률 변화는 논문의 모델 성능 수치가 아닙니다.
- 확신값이 잘 보정되어 있지 않으면 높은 값도 정답을 보장하지 않습니다. 기준 선택에는 오류 비용, 보류 비용, 집단별 영향이 필요합니다.
- 답하지 않은 질문이 쉬운 질문과 같은 분포라고 가정할 수 없습니다. 선택 뒤의 정확도만으로 전체 질문에 대한 신뢰성을 일반화하지 않습니다.
원문에 근거한 한계와 LTCT의 적용 범위 검토입니다. [1]
교육 현장과 연결해 보면
학교 수업에서는 ‘정확한 답 수’와 ‘답한 질문 수’를 함께 기록하도록 할 수 있습니다. 보류 기준을 올린 뒤 정답률만 좋아졌다고 말하지 않고, 빠진 질문의 유형과 후속 확인 경로를 함께 적습니다.
모둠 프로젝트에서는 보류를 실패가 아니라 처리 상태로 설계할 수 있습니다. 다만 사람에게 넘기는 비용, 지연, 반복적으로 보류되는 집단을 별도 지표로 확인해야 합니다.
보류 기준을 높인 뒤 답한 질문의 정답률이 100%가 되면 시스템 전체가 완벽해졌다고 말할 수 있을까요?
생각을 비교할 해설 펼치기
아닙니다. 어떤 질문을 보류했는지, 답한 비율(커버리지), 보류의 후속 처리와 비용을 함께 봐야 합니다. 선택된 일부의 정답률은 전체 질문의 성공률이 아닙니다.
원문과 출처 정보
한국어 제목은 이해를 돕기 위한 LTCT 번역입니다. 한글 제목 뒤 괄호에 원제를 함께 표기했습니다. 저자·학술지·원문 버전은 원문 서지정보를 기준으로 확인할 수 있습니다.
언어 모델은 (대체로) 자신이 아는 것을 아는가 (Language Models (Mostly) Know What They Know)
Saurav Kadavath 외 (2022). arXiv:2207.05221, v4.
- 자료 성격
- 공개 프리프린트
- 읽은 버전
- arXiv v4 (2022-11-17)
- 확인 범위
- 초록, §2의 P(True) 설정, 선택적 분류·정확도/커버리지 관련 실험 설명과 한계
- 원문 확인일
- 영구 식별
- DOI 미기재 · 아래 보존판 주소로 안내
이 글은 한국어 해설이며 원문 전문 번역이 아닙니다. 도식과 활동의 제작·재구성 범위는 각 그림과 본문에 표시했습니다. 자료 선정과 출처 기준
같은 연구 흐름에서 이어 읽기
같은 원문, 저자·연구 흐름, 공통 개념 태그를 기준으로 연결한 관련 해설입니다.