모양을 배웠을까, 배경을 외웠을까?
도형은 그대로 두고 배경을 바꾸어, 예측기가 의존하는 단서를 찾아봅니다.
그림에서 무엇을 볼까요?
같은 원의 배경만 바꿨을 때 배경 기준 분류기의 예측이 달라지는 비교 그림
학습 예시의 원은 모두 파란 배경에 있고 삼각형은 모두 노란 배경에 있다고 합시다. 도형의 모양을 보는 분류기와 배경색만 보는 분류기는 이 자료에서 똑같은 답을 낼 수 있습니다. 익숙한 조합에서의 성공만으로 어떤 기준을 사용했는지 구분하기 어렵습니다.
구글 PAIR의 공개 교육 사례는 고양이 사진에 붙은 표시와 예측 사이의 잘못된 연결을 탐구합니다. 우리는 같은 문제의식을 원·삼각형과 배경색이라는 단순한 조합으로 바꾸었습니다. 여기서 검사할 질문은 ‘정답을 맞혔는가’에서 한 걸음 더 나아가 ‘무엇을 바꾸면 답이 달라지는가’입니다.
함께 확인할 점
두 가상 분류기의 동작 규칙을 실행합니다. 실제 신경망을 학습한 결과가 아닌 편향 원리 실험입니다.
생각해 볼 질문
정답률이 같아도 다른 기준으로 판단할 수 있는 사례를 하나 만들고, 둘을 구분할 검사를 제안해 보세요.
