작은 크기와 작은 영향은 같은 말이 아니다
직물 보존소가 4×4, 모두 16칸의 무늬를 A와 B로 나누는 작은 검사기를 쓴다고 합시다. 사람이 정한 교육용 규칙은 세 핵심 칸이 모두 켜져 점수 3이면 A, 하나라도 꺼져 점수 2 이하이면 B입니다. 원본은 세 칸이 켜져 점수 3, 출력 A입니다.
비핵심 한 칸을 바꾸면 입력의 1/16, 즉 6.25%가 달라지지만 점수는 3이고 출력은 A로 유지됩니다. 핵심 한 칸을 바꾸어도 바뀐 크기는 똑같이 6.25%입니다. 그러나 점수는 2가 되고 출력은 B로 뒤집힙니다. 변화량의 크기만으로 출력 영향을 예측할 수 없습니다.
이 예시는 실제 신경망의 픽셀 계산을 재현하지 않습니다. 어떤 위치가 중요하다는 규칙을 우리가 미리 공개한 뒤, 같은 크기의 변화가 다른 결과를 만드는 구조를 보는 모형입니다. 화면에 표시된 점수도 모델의 숨은 사고나 자연어 추론 과정이 아니라 고정 규칙의 계산 결과입니다.
Goodfellow, Shlens, Szegedy는 사람이 거의 알아차리지 못할 수 있는 의도적 입력 변화가 신경망의 예측을 잘못 바꾸는 적대적 예시를 분석했습니다. 다만 ‘작아 보인다’는 판단은 데이터 표현과 허용한 거리, 사용 환경에 달려 있으므로 모든 한 칸 변화가 적대적 예시인 것은 아닙니다.
참고 · Ian J. Goodfellow, Jonathon Shlens, Christian Szegedy — 적대적 예시와 국소 입력 변화 ↗
무작위 흔들기와 최악 방향 검사는 다른 질문이다
비핵심 칸 하나를 우연히 골라 바꾸고 출력이 유지됐다고 해도 강건성이 증명되지는 않습니다. 공격자는 임의의 칸이 아니라 출력에 가장 큰 영향을 주는 방향을 찾으려 할 수 있습니다. 무작위 잡음 시험은 일상적 흔들림에 대한 질문이고, 적대적 시험은 허용 범위 안에서 실패를 만들도록 고른 변화에 대한 질문입니다.
Goodfellow와 동료들의 논문은 손실을 키우는 방향을 빠르게 구성하는 방법과 적대적 훈련을 제안합니다. 그 결과는 특정 모델·자료·공격 설정에서 얻은 것입니다. 한 공격에서 버텼다고 다른 거리 기준, 변환, 공격자 지식 수준에서도 안전하다고 일반화할 수 없습니다.
NIST 보고서는 시험을 공격자의 목표, 지식, 능력, 공격 시점으로 나눕니다. 이미 배치된 분류기의 입력을 바꾸어 잘못된 출력을 얻는 회피 공격도 이 틀에서 다룹니다. 완화책은 위협 모형과 허용 가능한 위험에 맞게 평가해야 하며, 보고서 자체는 모든 시스템에 동일한 방어를 강제하는 규정이 아닙니다.
따라서 ‘사람에게 같아 보임’이라는 한 문장보다 변화 범위를 명시합니다. 몇 칸 또는 어떤 거리까지 허용했는지, 공격자가 점수나 기울기를 볼 수 있는지, 목표가 아무 오분류인지 특정 오분류인지 적어야 재현 가능한 검사입니다.
참고 · Apostol Vassilev, Alina Oprea, Alie Fordyce, Hyrum Anderson — 적대적 기계학습의 공격·완화 용어 체계 ↗
강건성은 변화 범위와 실패 비용으로 보고한다
활동의 ‘16칸 전수 검사’는 원본에서 각 칸을 한 번씩 바꿉니다. 세 핵심 칸을 바꾼 경우만 출력이 뒤집히므로 한 칸 국소 실패는 3/16, 18.75%입니다. 이는 이 공개 규칙의 좁은 이웃에서 전수 확인한 값일 뿐, 실제 영상 분류기의 실패율로 옮길 수 없습니다.
현실의 이미지는 밝기, 자르기, 압축, 촬영 각도처럼 여러 방식으로 변합니다. 의료 영상이라면 작은 오분류의 비용이 크고, 추천 정렬이라면 영향의 성격이 다릅니다. 그래서 자연스러운 변형 시험, 의도적으로 찾은 최악 방향 시험, 실제 운영 분포의 실패 사례를 나눠 기록합니다.
방어를 평가할 때는 공격을 어렵게 보이게만 만든 것은 아닌지, 이전에 보지 않은 공격에서도 성능이 유지되는지, 깨끗한 입력의 정확도와 계산 비용이 어떻게 바뀌는지 함께 봅니다. ‘적대적 훈련을 했으므로 안전하다’는 단일 결론보다 시험한 위협 모형 밖의 빈틈을 남겨 둡니다.
다른 AI에 적용할 때 네 가지를 묻습니다. 사람에게 의미가 유지되는 변화는 무엇인가, 공격자가 바꿀 수 있는 범위는 어디까지인가, 그 안의 최악 사례를 실제로 탐색했는가, 실패했을 때 사람 검토나 중단 경로가 있는가. 국소 안정성 검사는 전체 원리를 공개하는 일이 아니라 정해진 이웃에서 깨지는 지점을 찾는 일입니다.