내용이 같으면 순서 변화는 통제 검사가 된다
답변 A와 B의 문장은 그대로 두고 제시 순서만 A-B에서 B-A로 바꾸면 내용의 질은 변하지 않습니다. 따라서 선택이 달라진다면 위치가 판단에 들어갔을 가능성을 살필 수 있습니다. 한 번의 결과만 보면 내용 선호와 위치 선호가 섞입니다.
자체 예시에서 A를 먼저 둔 열 번의 평가 중 A가 여덟 번 선택됩니다. B를 먼저 두면 A는 네 번, B는 여섯 번 선택됩니다. 같은 쌍인데 열 번 중 네 번의 선택이 바뀌었다면 단일 순서의 8대2를 안정된 우열로 읽기 어렵습니다.
Pezeshkpour와 Hruschka는 객관식 보기 순서에 따른 언어모델 예측 변화를 조사했습니다. 연구의 결과는 특정 모델·자료·설정에 관한 관찰이며 모든 AI가 앞번호를 선호한다고 일반화할 수 없습니다.
위치 민감성의 방향도 모델마다 다를 수 있습니다. 핵심은 ‘항상 앞을 고른다’는 규칙을 가정하는 일이 아니라 동일 내용을 여러 순열에 놓아 결과의 안정성을 직접 측정하는 일입니다.
참고 · Pouya Pezeshkpour, Estevam Hruschka — 보기 순서가 바뀔 때 선택도 바뀌는가 ↗
정확도 변화와 선택 변화는 따로 센다
정답이 있는 문제에서는 순서를 바꾼 뒤 정확도가 얼마나 움직였는지와 예측 자체가 얼마나 바뀌었는지를 구분해야 합니다. 두 순서에서 정확도가 우연히 같아도 서로 다른 문항에서 맞고 틀리며 예측 변화율이 높을 수 있습니다.
Cobbina와 Zhou는 문맥 예시의 위치를 바꾸고 정확도 변화와 예측 변화라는 두 지표를 사용했습니다. 열 개 모델과 여러 과제에서 위치에 따른 차이를 보고했지만, 이것을 현재 접속한 모델의 고정 법칙으로 읽어서는 안 됩니다.
활동의 ‘두 순서 함께’는 A 12회, B 8회로 합산합니다. 균형 합산은 한 위치가 노출되는 횟수를 맞추지만 내용 평가가 자동으로 옳아지는 것은 아닙니다. 인간 기준과의 일치, 채점 지침, 반복 실행도 필요합니다.
평가가 무작위 생성 설정을 쓰면 같은 순서에서도 결과가 흔들릴 수 있습니다. 순서 효과를 보려면 입력·모델 버전·설정·반복 횟수를 고정하고 교환한 요소만 명시해야 합니다.
순열 기록을 평가 절차의 일부로 만든다
실무에서는 답변 쌍을 두 순서로 평가하고 불일치하면 사람 검토로 보내는 규칙을 둘 수 있습니다. 여러 보기라면 모든 순열이 너무 많을 수 있으므로 각 보기가 각 위치에 비슷한 횟수로 나타나는 균형 표본을 설계할 수 있습니다. 문항을 순열에 배정하는 규칙도 미리 정해 두어 쉬운 문항이 한 순서에 몰리지 않게 해야 합니다.
결과 보고서에는 원래 순서의 점수만 남기지 말고 교환 순서의 점수, 선택 변화율, 두 순서 합산, 불일치 처리 규칙을 함께 적습니다. 그래야 평가 재현자가 위치 효과를 분리할 수 있습니다. 모델 이름과 버전, 생성 설정, 실행 날짜도 함께 남기면 나중 변화와 순서 효과를 구별할 수 있습니다.
입학 서류 요약, 토론 답변 비교, 검색 결과 재정렬처럼 순위가 중요한 상황에도 같은 질문을 옮겨 보세요. 위치를 바꾸어도 유지되는 판단인지 확인하면 화면 배치가 근거처럼 작동하는 위험을 줄일 수 있습니다.
이 활동은 AI의 내부 사고를 보여 주지 않습니다. 관찰 가능한 입력 순서와 출력 선택의 관계를 검사합니다. 내부 원인을 설명하려면 별도의 개입 연구가 필요하며, 여기서 얻는 결론은 해당 평가 절차의 안정성 범위에 머뭅니다.