잘 맞히는 것처럼 보이는 두 분류기
학습 예시의 원은 모두 파란 배경에 있고 삼각형은 모두 노란 배경에 있다고 합시다. 도형의 모양을 보는 분류기와 배경색만 보는 분류기는 이 자료에서 똑같은 답을 낼 수 있습니다. 익숙한 조합에서의 성공만으로 어떤 기준을 사용했는지 구분하기 어렵습니다.
구글 PAIR의 공개 교육 사례는 고양이 사진에 붙은 표시와 예측 사이의 잘못된 연결을 탐구합니다. 우리는 같은 문제의식을 원·삼각형과 배경색이라는 단순한 조합으로 바꾸었습니다. 여기서 검사할 질문은 ‘정답을 맞혔는가’에서 한 걸음 더 나아가 ‘무엇을 바꾸면 답이 달라지는가’입니다.
참고 · Astrid Bertrand · Adam Pearce · Nithum Thain / Google PAIR — 엉뚱한 단서와 모델의 예측 ↗
엇갈린 조합이 알려주는 것
파란 배경의 원을 노란 배경으로 바꾸어 보세요. 모양은 그대로인데 배경 분류기는 삼각형이라고 답합니다. 반대로 파란 배경의 삼각형에서는 원이라고 답합니다. 두 입력을 따로 조작하면 어느 단서에 반응하는지 분명해집니다.
다음으로 모양 분류기를 선택해 같은 네 조합을 검사해 보세요. 이 활동의 두 분류기는 동작을 직접 정의했으므로 결과를 정확히 설명할 수 있습니다. 실제 학습된 모델에서는 단서가 섞여 있고 예측이 확률적으로 달라질 수도 있어 더 많은 통제된 검사가 필요합니다.
설명 그림도 검토 대상
모델이 주목한 부분을 색으로 표시한 그림은 유용한 실마리입니다. 하지만 그 그림 하나가 판단의 완전한 원인을 보장하지는 않습니다. PAIR의 사례도 시각적 해석 방법이 미묘한 편향을 놓칠 수 있음을 보여 줍니다. 예상한 단서를 바꿔 보고, 다른 조합에서도 결과가 반복되는지 확인하는 과정이 설명을 평가하는 데 도움이 됩니다.
참고 · Astrid Bertrand · Adam Pearce · Nithum Thain / Google PAIR — 엉뚱한 단서와 모델의 예측 ↗