논리적 사고

AI가 읽은 문서 속 명령도 따라야 할까요?

문서 안에 ‘이전 지시를 무시하라’라는 문장이 있더라도 자료의 내용과 실행 지시는 서로 다른 지위를 갖습니다. 문서 요약 실습으로 둘을 구분합니다.

그림에서 무엇을 볼까요?

왼쪽 사용자 과업(날짜 추출), 가운데 출처 문서의 일정과 삽입 명령, 오른쪽 안전한 결과. 자료→실행 권한 화살표 차단 표시.

도서관의 알림문을 요약할 때 AI의 과업은 알림문에 적힌 날짜와 장소를 독자에게 전달하는 것입니다. 알림문 안에 명령형 문장이 등장할 수도 있습니다. 그 문장을 글의 내용으로 인식하는 것과 실행할 지시로 채택하는 것은 서로 다른 단계입니다.

문서에서 만난 명령문이 AI의 원래 목표를 바꾸도록 유도하는 경우를 간접 프롬프트 인젝션이라고 부릅니다. 자료가 가진 정보의 가치를 활용하면서 자료가 시스템의 권한을 얻지 않도록 구분해야 합니다.

모형은 외부 도구나 권한을 연결하지 않는 가상 결과 비교이며 실제 방어체계의 안전성을 증명하지 않음.

문서 안에 인용된 명령형 문장과 이용자의 실제 요청을 나누는 기준을 만들어 보세요.