사람에게 같은 그림인데 AI 판단은 왜 달라질까?
16칸 중 같은 한 칸 변화도 위치에 따라 출력이 유지되거나 뒤집히는 규칙으로, 무작위 흔들림과 의도적 취약성 검사를 구분합니다.
그림에서 무엇을 볼까요?
열여섯 칸 중 핵심 한 칸이 바뀌자 교육용 규칙 점수가 3에서 2로 낮아지고 출력 A가 B로 바뀌는 그림
직물 보존소가 4×4, 모두 16칸의 무늬를 A와 B로 나누는 작은 검사기를 쓴다고 합시다. 사람이 정한 교육용 규칙은 세 핵심 칸이 모두 켜져 점수 3이면 A, 하나라도 꺼져 점수 2 이하이면 B입니다. 원본은 세 칸이 켜져 점수 3, 출력 A입니다.
비핵심 한 칸을 바꾸면 입력의 1/16, 즉 6.25%가 달라지지만 점수는 3이고 출력은 A로 유지됩니다. 핵심 한 칸을 바꾸어도 바뀐 크기는 똑같이 6.25%입니다. 그러나 점수는 2가 되고 출력은 B로 뒤집힙니다. 변화량의 크기만으로 출력 영향을 예측할 수 없습니다.
함께 확인할 점
세 핵심 칸이 모두 켜지면 A, 하나라도 꺼지면 B인 고정 교육용 규칙입니다. 실제 신경망 실행이나 내부 사고 공개가 아닙니다.
생각해 볼 질문
사용 중인 AI 하나를 골라 의미를 유지한 채 바꿀 수 있는 입력, 공격자가 실제로 바꿀 수 있는 범위, 실패 시 사람 검토 기준을 적어 보세요.
순서를 바꿔도 같은 효과를 볼 수 있을까?
AI가 약한 ETag와 강한 ETag를 같은 검증자로 써도 될까?
AI 정확도 90퍼센트와 60퍼센트를 평균 내면 75퍼센트일까?