표 수보다 오류의 계보를 본다
오류 가능성이 각각 20%인 모델 다섯 개가 완전히 독립이라면 세 개 이상이 함께 틀릴 확률은 약 5.8%다. 다수결은 한 모델의 20%보다 낮은 값처럼 보인다.
Lakshminarayanan과 동료들의 NeurIPS 2017 논문은 여러 신경망을 결합해 예측 성능과 불확실성을 다루는 간단한 앙상블 접근을 제시한다. 다만 여러 모델을 썼다는 사실만으로 오류의 독립성이 자동 보장되지는 않는다.
참고 · Balaji Lakshminarayanan · Alexander Pritzel · Charles Blundell — 여러 신경망과 예측 불확실성 ↗
같은 데이터와 도구가 공통 원인이 될 수 있다
다섯 모델이 같은 잘못된 원문, 같은 검색 색인, 비슷한 학습 자료를 사용하면 한 원인이 모두의 답을 같은 방향으로 밀 수 있다. 이 활동은 그런 공통 경로와 독립 경로를 섞어 차이를 보여 준다.
기본값에서 공통 경로 비중을 50%로 두면 혼합 다수결 오류는 약 12.9%다. 공통 비중을 0%에서 100%로 옮기며 모델 수를 늘리는 효과가 언제 작아지는지 살펴보자.
다양성은 이름이 아니라 실패 조건에서 확인한다
서로 다른 회사나 모델 이름만으로 충분한 다양성을 증명할 수 없다. 학습 자료, 검색 도구, 프롬프트, 평가 기준과 업데이트 시점이 얼마나 겹치는지를 기록해야 한다.
이 활동은 개별 오류 가능성이 모두 같고 독립 또는 완전 공통이라는 두 극단만 섞는다. 실제 오류 상관은 연속적이고 과제마다 달라진다. 운영 결정 전에는 공통 실패 사례를 따로 설계해 시험해야 한다.