AI가 대상을 보지 않고 배경을 맞힌다면?

그림에서 무엇을 볼까요?

동물 특징은 유지한 채 눈 배경과 모서리 표식을 각각 가리거나 바꾸어 예측의 지름길 단서를 검사하는 세 단계 그림

사슴 사진 분류기가 검증 자료의 대부분을 맞혔다고 합시다. 우리는 뿔과 몸의 윤곽을 배웠다고 기대하지만, 훈련 사진의 사슴 뒤에 늘 눈이 있고 다른 동물 뒤에는 풀이 있었다면 눈 배경도 손쉬운 정답 단서가 됩니다. 새 장소에서 배경과 동물의 짝이 달라지면 같은 계산 규칙이 갑자기 실패할 수 있습니다.

Ribeiro, Singh, Guestrin은 2016년 논문에서 이런 상황을 의도적으로 만들었습니다. 늑대와 허스키를 합한 훈련 사진 20장을 손으로 골라, 늑대 사진은 모두 눈 배경이고 허스키 사진에는 눈 배경이 없도록 구성했습니다. 추가 60장에서 분류기는 동물의 색·자세보다 눈이나 화면 아래의 밝은 배경에 따라 늑대를 예측했습니다. 이는 연구진이 실제 운영 모형의 성과로 제시한 결과가 아니라 설명 방법을 시험하기 위한 나쁜 분류기 사례입니다.