AI가 여러 번 시도해 하나를 맞히면 한 번의 실력도 같은 걸까?

그림에서 무엇을 볼까요?

한 번 시도의 성공률에서 여러 독립 시도로 갈라져 적어도 하나의 성공으로 합류하는 확률 그림

한 번 성공할 가능성이 30%인 시도를 다섯 번 독립적으로 한다고 하자. 모두 실패할 확률은 0.7의 다섯제곱이므로, 적어도 하나 성공할 확률은 약 83.2%다. 이것은 한 번의 성공률이 83.2%로 높아졌다는 뜻이 아니다.

Chen과 동료들의 Codex 평가 논문은 여러 표본 중 정답이 하나 이상 존재할 가능성을 pass@k로 다룬다. 반복 생성의 가능성을 보여 주지만, 사용자가 그 정답을 자동으로 알아본다는 보장은 아니다.