답이 길면 AI 심판은 더 좋은 답으로 볼까?
핵심 근거는 2개로 같은 60단어·180단어 답을 길이 보너스 규칙과 근거 루브릭으로 채점해 선택이 뒤집히는 과정을 확인합니다.
그림에서 무엇을 볼까요?
핵심 근거는 둘로 같지만 길이와 무관 대목이 다른 짧은 답과 긴 답이 겉모양 가중 및 근거 루브릭을 거쳐 서로 다른 선택으로 이어지는 그림
박물관 음성 안내 답변 두 개를 비교한다고 합시다. 짧은 답은 60단어이고 요구한 핵심 근거 2개를 모두 담으며 관련 없는 대목은 없습니다. 긴 답은 180단어이고 같은 핵심 2개를 담지만 곁가지가 3개입니다. 이는 길이 신호를 분리하려고 만든 자료이지 실제 모델 응답이 아닙니다.
‘핵심 1개당 2점, 150단어 이상이면 1점 추가’라는 겉모양 규칙은 짧은 답 4점, 긴 답 5점을 줍니다. 핵심 충족은 같은데 길이 보너스가 승자를 만듭니다. 이 결과는 규칙을 정확히 실행했지만 더 유용한 답을 찾았다는 뜻은 아닙니다.
함께 확인할 점
60단어·180단어 답에 두 고정 채점 규칙을 적용합니다. 실제 생성형 AI를 호출하거나 내부 채점 원리를 재현하지 않습니다.
생각해 볼 질문
AI가 평가하는 답변 과제 하나를 골라 필수 근거, 허용할 추가 설명, 불필요한 반복, 길이를 맞춘 대조쌍, 순서 교환과 사람 감사 기준을 포함한 점검표를 만들어 보세요.
