답의 품질과 생성 계열을 따로 기록한다
라디오 기록물 두 편을 요약한 익명 답 A와 B가 있다고 합시다. 두 답 모두 필수 근거 4개를 담고 사실 오류는 0개이며, 사람이 같은 루브릭으로 매긴 점수도 각각 80점입니다. 생성기 A가 답 A를, 생성기 B가 답 B를 만들었다는 정보만 다릅니다. 이 자료와 점수는 원리를 위한 자체 예시입니다.
심판 A는 답 A에 88점, 답 B에 78점을 줍니다. 심판 B는 답 A에 77점, 답 B에 87점을 줍니다. 두 심판 모두 자기와 같은 생성 계열의 답을 10점 높게 고릅니다. 하지만 이 네 숫자만으로 이유가 ‘자기 계열이기 때문’이라고 확정할 수는 없습니다. 문체나 표현 습관처럼 계열과 함께 움직이는 특징이 있을 수 있습니다.
Panickssery와 동료들은 같은 기반 모델이 생성자와 평가자 역할을 맡을 때의 자기 선호를 연구했습니다. 두 요약 자료에서 모델·사람이 만든 요약을 비교하고, 선택 순서를 바꾸어 순서 편향을 보정했으며, 자기 생성물 구별 능력과 자기 선호의 관계를 미세조정 실험으로 살폈습니다.
저자들은 ‘자기 인식’을 일상적인 의식 개념이 아니라 자기 출력과 다른 출처의 출력을 구별하는 경험적 능력으로 정의합니다. 따라서 모델이 자기 답을 골랐다는 결과를 자아나 의도의 증거로 쓰지 않습니다. 어떤 조건에서 점수 차이가 반복되는지 측정한 결과로만 읽습니다.
참고 · Arjun Panickssery, Samuel R. Bowman, Shi Feng — LLM 심판의 자기 생성물 인식과 선호 ↗
이름을 가리는 것만으로 독립성이 생기지는 않는다
답 A·B라는 익명 표시는 평가자에게 생성기 이름을 직접 알려 주지 않습니다. 그래도 특정 문장 길이, 구조, 자주 쓰는 표현이 출처를 짐작하게 할 수 있습니다. 익명화는 필요한 한 단계지만 생성 흔적을 모두 제거하거나 평가자의 편향을 자동으로 없애지는 않습니다.
검사 설계는 심판과 생성기의 조합을 교차합니다. 같은 답쌍을 심판 A와 B, 별도 심판 C와 사람에게 모두 보여 주고 좌우 순서도 바꿉니다. 각 심판이 자기 계열 답을 얼마나 더 자주 선택하는지, 사람이 동점으로 본 쌍에서 점수 차이가 커지는지 분리해 집계합니다.
사람 루브릭도 완전한 진리가 아닙니다. 필수 근거, 사실 오류, 누락과 관련성을 문항별로 표시하고 여러 평가자의 일치와 불일치를 남깁니다. 객관적으로 검증 가능한 질문에서는 정답 검사를 함께 쓰고, 요약처럼 판단이 필요한 과제에서는 표본을 독립적으로 재평가합니다.
원 논문은 GPT-4·GPT-3.5·Llama 2와 XSUM·CNN/DailyMail 요약 조건에서 결과를 보고합니다. 다른 언어, 과제, 새 모델에서 같은 크기의 편향을 보장하지 않습니다. 활동의 88·78·77·87점도 논문 수치를 옮긴 것이 아니며, 교차 감사의 구조를 눈에 보이게 만든 고정 점수입니다.
참고 · Arjun Panickssery, Samuel R. Bowman, Shi Feng — LLM 심판의 자기 생성물 인식과 선호 ↗
평가자는 평가 대상과 다른 경로로 검증한다
활동에서 심판 A를 누르면 답 A가 10점 앞서고, 심판 B에서는 답 B가 10점 앞섭니다. 사람 루브릭에서는 80대 80 동점입니다. 심판을 바꿔 순위가 뒤집힌다는 사실은 평가자 의존성을 보여 주며, 어느 답이 실제로 우수한지는 원문과 루브릭을 다시 확인해야 합니다.
NIST AI 위험관리체계는 측정·검증·확인·평가를 사용 맥락과 연결하고, 독립 검토가 내부 편향과 이해 충돌을 완화할 수 있다고 설명합니다. 생성기와 같은 모델 한 대의 점수만으로 배포 순위를 정하는 대신, 별도 계열 평가자·사람 검토·검증 가능한 기준을 조합하는 이유입니다.
운영 기록에는 생성기와 심판의 버전, 프롬프트, 답의 표시 방식, 순서 교환, 온도 같은 실행 조건을 남깁니다. 자기 계열과 다른 계열의 점수 차이, 사람 판정과의 불일치, 과제별 오류를 공개합니다. 여러 심판이 같은 학습 자료와 문체 선호를 공유하면 다수결에서도 같은 오류가 반복될 수 있습니다.
다른 상황으로 옮겨 보세요. 논술 채점, 코드 리뷰, 상담 답변 선발에 AI 심판을 쓴다면 생성기와 평가자의 계열이 겹치나요? 출처를 가린 교차 평가, 순서 교환, 사람 루브릭, 객관 검사와 이의 제기 절차를 어떤 순서로 둘지 감사표를 만들어 보세요.