논리적 사고

인공지능(AI) 심사위원에게 답의 순서를 바꿔 보여 주면?

내용은 그대로인데 먼저 놓인 답을 고른다면 판정은 얼마나 믿을 수 있을까요? 두 순서의 결과를 비교하는 가상 실험을 해 봅니다.

그림에서 무엇을 볼까요?

A→B 순서에서는 A를, B→A 순서에서는 B를 고르는 가상 위치 우선 심사. 두 판정은 같은 답을 지지하지 않는다.

LTCT의 가상 답 A는 “모든 고양이가 동물이라고 해서 모든 동물이 고양이라는 결론은 나오지 않는다”이고, B는 그 역을 성립한다고 말합니다. 이 논리 예시에서는 A가 타당합니다. 실제 모델을 호출하는 대신 심사 규칙을 두 가지로 정해 비교합니다.

“무조건 첫 번째 답 선택”에서는 A→B 순서일 때 A, B→A 순서일 때 B가 선택됩니다. 아래 표는 위치 이름이 아니라 답안의 정체성을 기록하므로 뒤집힌 판정을 알아볼 수 있습니다. 화면의 A라는 글자와 “첫 번째”라는 위치를 혼동하지 않는 것이 핵심입니다.

활동은 결정적인 두 규칙을 실행하는 모형입니다. 실제 AI 추론, 실시간 API 호출, 모델 벤치마크 점수를 제공하지 않습니다.

2023년 연구의 모델·질문·프롬프트 조건에서 얻은 결과입니다. 최신 모델의 위치 편향 크기를 측정한 자료로 읽으면 안 됩니다.

순서를 바꾸어 두 번 검사해도 공통 오류, 문체 편향, 기준 자체의 결함은 남을 수 있습니다.

두 순서에서 모두 B를 선택했다면 믿을 만한 판정일까요?