가까운 입력은 결정 경계를 설명하지만 행동 계획은 아닐 수 있다
교육 지원용 가상 규칙을 생각해 봅시다. 경력 5년 이상 2점, 최근 훈련 14시간 이상 2점, 확인 문서 제출 1점이고 3점부터 승인입니다. 현재 지원자는 경력 4년, 훈련 10시간, 문서 제출로 1점입니다. 입력 숫자만 보면 경력을 4에서 5로 바꾸는 한 칸 변화가 출력을 가장 가깝게 뒤집습니다.
Wachter, Mittelstadt, Russell은 자동 결정의 반사실 설명을 ‘입력 값이 이렇게 달랐다면 다른 결과가 나왔을 것’이라는 형식으로 제안했습니다. 복잡한 내부 계산 전체를 공개하지 않고도 현재 결정의 경계와 이의를 제기할 단서를 보여 줄 수 있습니다. 한편 저자들은 가장 작은 변화가 항상 가장 유용하지 않으며, 변수의 변경 가능성과 현실에서 변화할 가능성을 고려해야 한다고 설명합니다.
경력 4년을 오늘 5년으로 고칠 수는 없습니다. 잘못 기록된 값이라면 정정을 요구할 수 있지만, 사실이라면 시간이 지나야 바뀝니다. 반대로 훈련을 10시간에서 14시간으로 늘리는 네 칸 변화는 더 멀어 보여도 실제 강좌를 이수하는 행동으로 연결될 수 있습니다. ‘가깝다’는 수학적 거리와 ‘할 수 있다’는 생활 조건은 다른 질문입니다.
구제는 변수 변화가 아니라 개입의 순서·비용·파급을 묻는다
Karimi, Schölkopf, Valera는 반사실 입력 차이를 곧바로 행동으로 번역하면 너무 큰 노력을 요구하거나, 실행해도 원하는 출력이 나오지 않을 수 있다고 지적합니다. 실제 행동은 한 변수만 고정해 바꾸는 편집이 아니라 다른 변수에 뒤따르는 효과를 만들 수 있습니다. 그래서 가능한 행동 집합, 비용, 변수 사이 인과적 의존을 포함한 ‘개입’을 찾아야 한다고 제안합니다.
예를 들어 훈련 시간을 늘리려면 수강 자격, 일정, 비용, 문서 발급 순서가 필요할 수 있습니다. ‘문서 다시 제출’은 30분이면 가능해도 이미 문서 점수 1점을 받은 상태라면 출력을 바꾸지 않습니다. 행동 가능성과 출력 반전을 둘 다 만족해야 구제안이 됩니다. 과거 경력, 출생 정보처럼 즉시 바꿀 수 없는 속성이나 보호되어야 할 속성을 권고 대상으로 삼아서는 안 됩니다.
다만 인과 모형을 안다고 쉽게 가정해서도 안 됩니다. 저자들은 실제 세계의 올바른 인과 구조와 방정식을 거의 완전히 알 수 없다는 점을 핵심 한계로 적습니다. 따라서 구제 시스템은 보장을 과장하지 말고, 사용한 규칙·가능 행동·비용·불확실성을 공개하며 실제 절차 담당자에게 확인할 경로를 함께 제공해야 합니다.
참고 · Amir-Hossein Karimi·Bernhard Schölkopf·Isabel Valera / PMLR — 반사실 입력과 실제 실행할 개입을 구분하는 알고리즘 구제 연구 ↗
설명 카드에는 ‘무엇이 달라지는가’와 ‘어떻게 바꾸는가’를 함께 적는다
아래 활동에서 경력 변경을 고르면 점수는 3점이 되어 출력이 뒤집히지만 ‘오늘 실행 가능’ 검사를 통과하지 못합니다. 훈련 14시간을 고르면 네 시간이 필요하고 점수 3점으로 승인되어 이 가상 규칙 안에서는 실행 가능한 구제입니다. 훈련 12시간은 시간이 적게 들지만 기준에 못 미쳐 점수 1점 그대로입니다. 숫자가 본문·그림·활동에서 같은지 대조해 보세요.
실제 설명을 검수할 때는 네 줄이 필요합니다. 현재 입력과 결과, 결과를 바꾸는 반사실 후보, 사람이 선택할 수 있는 구체적 행동과 비용, 행동 후 다시 확인할 절차입니다. 입력 오류 정정과 미래 행동 권고도 구분해야 합니다. 정정은 사실을 바로잡는 권리이고, 구제는 앞으로 결과를 바꾸기 위한 선택입니다.
채용, 보험, 교육, 복지처럼 결과가 사람에게 큰 영향을 주는 곳에서는 ‘AI가 이렇게 계산했다’는 카드 하나로 끝내지 마세요. 어떤 속성을 바꾸라고 요구하는지, 그 속성이 실제로 통제 가능한지, 다른 조건도 함께 변하는지, 같은 행동이 다른 집단에 과도한 부담을 주는지 묻습니다. 좋은 설명은 내부 마음을 꾸며 내는 이야기가 아니라, 이의 제기와 실행 여부를 검증할 수 있는 경로입니다.