다음 표현을 잘 고르는 목표와 사실을 확인하는 목표는 다르다
‘연구에는 모두 ___개의 질문이 있다’ 다음에 800, 817, 718이라는 후보가 놓였다고 합시다. 교육용 모형이 웹에서 자주 보인 둥근 수 800에 가장 큰 가중치를 주면 문장은 매우 자연스럽게 완성됩니다. 그러나 원문에 적힌 실제 문항 수가 817이라면 가장 높은 후보를 골랐다는 사실은 정답의 근거가 아닙니다.
Brown과 동료들의 GPT-3 논문은 모형을 앞선 토큰 문맥에 따라 다음 토큰을 생성하는 자동회귀 언어모델로 설명합니다. 과제 설명과 몇 개 예시를 문맥에 넣어 별도 가중치 갱신 없이 여러 과제를 수행하는 설정을 평가했습니다. 이런 생성 계산은 문맥과 학습 분포에 잘 이어지는 표현을 만드는 데 강하지만, 그 과정 자체에 최신 원문 조회나 사실 대조가 자동 포함된다고 말할 수는 없습니다.
후보 확률은 ‘현재 문맥과 설정에서 어떤 토큰을 다음으로 고를 것인가’에 관한 분포입니다. 문장 전체의 진실 확률, 출처의 신뢰도, 실제 세계에서 주장이 성립할 확률과 같은 이름을 붙이면 서로 다른 측정 대상을 섞게 됩니다. 높은 후보가 사실일 수도 있지만, 그것은 별도 확인을 거쳐야 알 수 있습니다.
참고 · Tom B. Brown 외 / NeurIPS 2020 — 자동회귀 언어모델과 문맥 안 예시를 이용한 다음 표현 생성 ↗
유창함이 오해를 반복할 때 사실성 검사가 필요하다
Lin, Hilton, Evans는 TruthfulQA를 만들어 사람들이 흔히 잘못 답하는 질문에서 언어모델의 사실성을 따로 측정했습니다. 자료는 건강·법·금융·정치 등을 포함한 38개 범주, 817개 질문으로 구성됩니다. 연구 목적은 모델이 사람의 글에 널리 나타난 오해를 모방해 그럴듯한 거짓 답을 내는지 살피는 것이었습니다.
당시 평가에서 가장 좋은 모형은 58%의 질문에 진실한 답을 했고 사람 평가는 94%였습니다. 일부 더 큰 모형이 더 진실하지 않았다는 결과도 보고했지만, 이것을 오늘의 모든 모델이나 모든 질문에 대한 보편 법칙으로 읽어서는 안 됩니다. 해당 모델군·프롬프트·채점 방법·의도적으로 어렵게 만든 자료라는 성립 조건이 붙습니다.
중요한 교훈은 ‘확률이 높으면 거짓’이라는 반대 공식도 아니라는 점입니다. 생성 확률과 사실성은 서로 다른 검사가 필요하다는 뜻입니다. 답변이 원문 수치, 날짜, 인명, 법 규정처럼 확인 가능한 주장을 포함하면 해당 출처를 열어 범위와 시점을 대조해야 합니다. 검증 자료가 없으면 모른다고 표시하거나 조건부 표현으로 범위를 줄이는 선택도 필요합니다.
참고 · Stephanie Lin·Jacob Hilton·Owain Evans / ACL — 유창한 언어모델 답변의 사실성을 따로 재는 817개 질문 ↗
선택 단계와 검증 단계를 화면에서 분리한다
아래 활동의 첫 문맥에서는 800의 가중치가 56으로 가장 높지만 원문 값 817과 다릅니다. 원문 수치가 문맥에 포함된 두 번째 조건에서는 817이 72로 가장 높습니다. 이 숫자는 실제 모형 실험값이 아니라 단계 차이를 보이기 위한 고정 계산입니다. 문맥을 바꾸고 ‘원문 대조’ 버튼을 눌러 후보 선택과 확인 판정을 따로 보세요.
실제 AI 답변 검수표도 두 열로 나눌 수 있습니다. 생성 열에는 입력 문맥, 모형·버전, 설정, 선택된 답을 적습니다. 검증 열에는 확인할 주장, 원문 링크, 원문 날짜, 해당 구간, 일치·불일치·판단 보류를 적습니다. 검색 도구를 붙였더라도 검색 결과를 실제로 사용했는지, 인용한 문장이 주장을 지지하는지는 다시 확인합니다.
다른 상황에 적용하면 요약의 페이지 수, 통계의 기준 연도, 인물의 직책, 논문의 표본 수가 좋은 검사 대상입니다. ‘AI가 왜 이 답을 골랐는가’를 완전한 내부 독백으로 꾸미기보다, 화면에 나온 후보·출처·대조 결과를 재현 가능하게 남기세요. 보이는 과정의 가치는 마음을 읽는 데 있지 않고, 사용자가 다음 검사를 어디서 해야 하는지 알게 하는 데 있습니다.