AI가 여러 번 시도해 하나를 맞히면 한 번의 실력도 같은 걸까?

기회가 늘면 적어도 하나의 성공은 쉬워진다

한 번 성공할 가능성이 30%인 시도를 다섯 번 독립적으로 한다고 하자. 모두 실패할 확률은 0.7의 다섯제곱이므로, 적어도 하나 성공할 확률은 약 83.2%다. 이것은 한 번의 성공률이 83.2%로 높아졌다는 뜻이 아니다.

Chen과 동료들의 Codex 평가 논문은 여러 표본 중 정답이 하나 이상 존재할 가능성을 pass@k로 다룬다. 반복 생성의 가능성을 보여 주지만, 사용자가 그 정답을 자동으로 알아본다는 보장은 아니다.

참고 · Mark Chen 외 — 여러 번 생성했을 때의 pass@k ↗

pass@1과 pass@k를 같은 표에 놓는다

아래 활동은 단일 시도 성공률과 시도 수를 따로 바꾼다. 시도 수가 1이면 두 값은 같다. 시도 수만 늘리면 적어도 하나 성공할 가능성은 커지지만, 평균적인 한 답의 품질은 그대로다.

성공 여부를 판별할 자동 시험이 없다면 사람의 검토가 필요하다. 여러 답 중 그럴듯한 오답을 고르는 위험과 계산 비용도 함께 늘 수 있다.

독립 가정이 깨지면 식도 낙관적이다

모든 시도가 같은 잘못된 전제나 검색 결과에 묶이면 실패가 서로 독립적이지 않다. 이때 1−(1−p)^k 식은 실제 다양성을 과장할 수 있다.

활동의 p는 실제 모델의 고정 성능이 아니라 사용자가 넣는 가정이다. 과제별 시험 세트, 생성 설정, 선택 규칙과 비용을 공개하지 않으면 여러 번 시도한 결과를 공정하게 비교할 수 없다.