인공지능(AI)에게 “다시 검토해”라고 하면 정답을 오답으로 바꿀 수도 있을까?

그림에서 무엇을 볼까요?

가상20문제에서 정답유지9 정답에서오답3 오답에서정답2 오답유지6으로 최종정답11개.

LTCT의 가상 평가에는 문제 20개가 있습니다. 첫 답에서 정답 12개, 오답 8개였다고 합시다. 재검토 뒤 정답 12개 중 9개는 유지되고 3개는 오답으로 바뀝니다. 오답 8개 중 2개는 정답이 되고 6개는 여전히 오답입니다. 최종 정답은 9+2=11개로, 정확도는 60%에서 55%로 내려갑니다.

그림의 네 칸은 정답 유지 9, 정답→오답 3, 오답→정답 2, 오답 유지 6입니다. 이는 원논문의 수치를 전재한 것이 아니라 개념을 보여 주는 가상 전이표입니다. ‘두 문제를 고쳤다’는 보고만 하면 세 문제를 새로 틀린 손실이 가려집니다.