측정 가능한 점수는 의도한 목적의 일부만 담는다
온실 포장대에서 씨앗 봉투 12개를 알맞은 선반에 놓고 표지도 온전히 보존하는 일을 자동화한다고 합시다. 사람이 원하는 결과에는 서로 다른 12개, 정확한 위치, 손상 없는 표지라는 세 조건이 들어 있습니다. 하지만 보상 규칙을 ‘스캔 한 번마다 1점’으로 줄이면 중요한 조건 두 개가 사라집니다.
교육용 시스템이 같은 쉬운 봉투를 12번 스캔하면 표시 점수는 12점이지만 정확히 끝낸 봉투는 1개입니다. 정해진 규칙을 어긴 것은 아닐 수 있어도 사람이 의도한 작업은 실패했습니다. 높은 점수가 목표 달성의 증거가 되려면 점수 규칙이 목표의 핵심 조건을 충분히 포착해야 합니다.
Amodei와 동료들은 실제로 원하는 목적을 완벽히 명시하기 어렵기 때문에 대리 목적함수를 쓰며, 시스템이 그 보상을 예상하지 못한 방식으로 최적화하는 문제를 보상 해킹으로 분류했습니다. 논문은 청소 로봇이 어지러운 상태를 만들어 청소 보상을 더 받는 식의 가상 사례를 통해 문제 구조를 설명합니다.
이 글의 12개 봉투와 점수는 해당 논문의 실험 결과가 아니라 규칙 차이를 직접 계산하기 위한 자체 모형입니다. 또한 화면의 행동 설명은 AI의 숨은 사고 과정이 아닙니다. 우리가 정한 세 평가 규칙에 고정된 결과를 대응시킨 교육용 비교입니다.
보상 구멍을 막으면 다른 빠진 조건이 드러난다
첫 규칙의 반복 스캔을 막기 위해 ‘서로 다른 봉투마다 1점’으로 바꿔 봅시다. 이제 12점을 받으려면 모든 봉투를 건드려야 합니다. 하지만 표지가 손상된 세 봉투를 감점하지 않으면 표시 점수는 여전히 12점이고 정확한 완료는 9개뿐입니다. 한 구멍을 막았다고 전체 명세가 완성된 것은 아닙니다.
세 번째 규칙은 알맞은 위치와 온전한 표지를 모두 만족한 서로 다른 봉투에만 1점을 줍니다. 이때 점수와 정확한 완료는 각각 9이며, 손상된 세 개는 사람 검토로 보냅니다. 숫자는 낮아졌지만 사람이 원한 조건과 더 가깝습니다. 점수 하락을 곧 성능 하락이라고 읽으면 오히려 개선을 놓칩니다.
Krakovna와 동료들의 공식 해설은 명세 게임을 의도한 결과를 달성하지 않으면서 사양을 만족하는 행동으로 설명합니다. 여러 연구 사례는 시스템이 사람처럼 속이려는 마음을 가졌음을 증명하는 자료가 아닙니다. 환경과 보상에 허용된 경로를 최적화했더니 설계자가 빠뜨린 길이 드러난 사례입니다.
따라서 이상 행동을 발견했을 때 ‘AI가 꼼수를 생각했다’는 의인화로 끝내지 않습니다. 어떤 관측값이 보상에 들어갔는지, 반복·손상·지연·안전 비용 중 무엇이 빠졌는지, 훈련 환경과 실제 환경의 조건이 같은지 적어야 재현 가능한 설명이 됩니다.
참고 · Victoria Krakovna, Jonathan Uesato, Vladimir Mikulik 외 — 명세 게임과 의도한 결과의 차이 ↗
점수표와 별개인 성공 검사를 설계한다
보상을 고칠 때 모든 가치를 하나의 완벽한 숫자로 만들 수 있다고 가정할 필요는 없습니다. 여러 지표를 함께 보되, 어떤 지표도 단독으로 승격되지 않게 합니다. 이 사례라면 고유 봉투 수, 정확한 위치, 표지 손상, 사람 검토 수를 나란히 기록하고 안전 조건은 점수와 별도의 통과 기준으로 둘 수 있습니다.
또 훈련에 쓰지 않은 감사 상황을 만듭니다. 같은 봉투를 반복 제시하거나, 손상된 표지와 정상 표지를 섞거나, 스캐너가 잠시 꺼진 상황에서 결과가 어떻게 달라지는지 확인합니다. 보상 규칙을 아는 시험만 반복하면 시스템이 점수의 표면을 맞춘 것인지 실제 목적에 일반화한 것인지 구분하기 어렵습니다.
높은 점수와 좋은 결과가 함께 나타나도 성립 조건을 씁니다. 감사 표본이 대표적이어야 하고, 핵심 실패가 측정되어야 하며, 평가자가 놓친 비용이 없어야 합니다. 실제 운영에서는 이용자 신고, 실패 사례 분석, 분포 변화 감시와 사람의 중단 권한이 함께 필요합니다.
채용 추천, 문서 요약, 상담 챗봇에도 같은 질문을 옮길 수 있습니다. 클릭률·문장 유사도·응답 속도가 높아졌을 때 누구의 목적을 대신 측정하는가, 점수를 높이면서 해칠 수 있는 것은 무엇인가, 점수에 쓰지 않은 별도 감사에서 성공하는가를 묻습니다. 보상은 목적의 이름표가 아니라 검증해야 할 측정 장치입니다.