AI가 제안한 최소 변경은 실제로 실행할 수 있을까?

그림에서 무엇을 볼까요?

현재 교육 지원 심사 입력에서 경력 변경과 훈련 변경 두 후보로 갈라진 뒤 실행 가능성 합류점을 거쳐 행동 계획으로 이어지는 흐름

교육 지원용 가상 규칙을 생각해 봅시다. 경력 5년 이상 2점, 최근 훈련 14시간 이상 2점, 확인 문서 제출 1점이고 3점부터 승인입니다. 현재 지원자는 경력 4년, 훈련 10시간, 문서 제출로 1점입니다. 입력 숫자만 보면 경력을 4에서 5로 바꾸는 한 칸 변화가 출력을 가장 가깝게 뒤집습니다.

Wachter, Mittelstadt, Russell은 자동 결정의 반사실 설명을 ‘입력 값이 이렇게 달랐다면 다른 결과가 나왔을 것’이라는 형식으로 제안했습니다. 복잡한 내부 계산 전체를 공개하지 않고도 현재 결정의 경계와 이의를 제기할 단서를 보여 줄 수 있습니다. 한편 저자들은 가장 작은 변화가 항상 가장 유용하지 않으며, 변수의 변경 가능성과 현실에서 변화할 가능성을 고려해야 한다고 설명합니다.