말, 행동, 환경 관찰을 같은 칸에 넣지 않는다
해안 등대의 경보판 7개를 새 설정으로 바꾸라고 AI 작업자에게 맡겼다고 합시다. 마지막 답변이 ‘7개 모두 완료했습니다’여도 그 문장은 완료 주장입니다. 어떤 도구를 호출했고 도구가 무엇을 돌려줬으며 실제 경보판이 어떻게 보이는지는 별도 기록입니다.
활동의 ‘말만 완료’에는 주장 7개, 도구 성공 0개, 사후 확인 0개가 표시됩니다. 여기서 자연어 문장이 유창하거나 단정적이라는 사실은 외부 상태를 바꾸지 않습니다. 완료 여부는 답변의 자신감이 아니라 목표 상태에 관한 관찰과 연결되어야 합니다.
Yao와 동료들의 ReAct 논문은 언어로 생성된 생각·계획, 환경에 보내는 행동, 환경이 돌려주는 관찰을 번갈아 배치합니다. 논문 전문의 모형에서 언어 흔적은 그 자체로 외부 환경에 영향을 주지 않고, 행동을 통해 외부 정보가 다시 문맥에 들어옵니다.
이 구조를 모든 AI의 내부 사고에 대한 설명으로 확대하면 안 됩니다. ReAct는 특정 과제를 위한 프롬프트·행동 형식이며, 화면에 나온 문장은 모델의 실제 내부 계산 전부가 아닙니다. 이 글은 숨은 마음을 추측하지 않고 볼 수 있는 주장·호출·관찰만 검사합니다.
도구 성공과 목표 상태도 한 단계 떨어져 있다
‘도구 성공’ 기록에서는 갱신 요청 7개가 모두 성공으로 돌아오지만 작업 뒤 경보판을 다시 읽지 않았습니다. 호출이 올바른 대상에 전달됐고 오류 응답이 없었다는 근거는 늘었지만, 비동기 처리·잘못된 권한 범위·나중의 덮어쓰기까지 배제한 것은 아닙니다. 상태는 ‘사후 확인 필요’입니다.
‘사후 확인 완료’에서는 도구 성공 7개에 더해 경보판 7개의 목표 설정을 다시 읽었습니다. 정해 둔 대상과 시점에서는 완료를 확인했다고 말할 수 있습니다. 그러나 영구히 유지되거나 다른 장비까지 바뀌었다는 보장은 아니므로 확인 시각과 범위를 함께 남겨야 합니다.
‘부분 실패인데 완료 주장’에서는 7개를 완료했다고 썼지만 도구 성공과 사후 확인은 각각 5개이고 오류 2개가 남습니다. 표지의 일곱 경보등 가운데 다섯 개가 켜지고 두 개가 어두운 장면이 이 충돌을 나타냅니다. 이때 정답은 문장을 믿는 것도, 전체를 막연히 실패라고 부르는 것도 아니라 5개 확인·2개 미완료로 보고하는 것입니다.
그림의 화살표는 각 카드 경계에서 다음 카드 경계까지 이어집니다. 완료 주장→도구 결과→사후 상태→판정의 순서를 지키면 ‘말했으니 실행됨’과 ‘호출했으니 목표 달성’이라는 두 번의 도약을 따로 발견할 수 있습니다.
검증 범위, 실패 처리, 되돌리기를 운영 규칙으로 만든다
NIST 생성형 AI 위험관리 개요는 운영 중 성능·사고를 감시하고, 대응·복구·변경관리 절차를 세우며, 인간의 감독과 기록을 유지할 것을 권고합니다. 이는 ‘AI는 항상 틀린다’는 선언이 아니라 영향과 위험에 맞게 확인 강도를 조절하라는 관리 틀입니다.
낮은 위험의 되돌릴 수 있는 작업은 도구 응답과 표본 확인으로 충분할 수 있습니다. 반대로 결제, 삭제, 안전 장비 변경처럼 영향이 큰 작업은 사전 승인, 전체 사후 확인, 감사 로그, 실패한 항목의 재시도 조건과 되돌리기 계획이 필요합니다. 성공 문구 하나로 이 절차를 생략할 수 없습니다.
활동의 네 버튼을 눌러 주장·성공·확인 수를 비교하세요. 7·0·0은 미검증, 7·7·0은 사후 확인 필요, 7·7·7은 지정 범위 완료 확인, 7·5·5는 주장과 기록 충돌입니다. 이는 확률 측정이나 실제 도구 성능이 아니라 판정 규칙을 투명하게 보이는 교육 기록입니다.
다른 상황으로 옮겨 보세요. 파일 20개 이동, 예약 3건 취소, 공개 페이지 2개 갱신 중 하나를 골라 완료 조건을 먼저 적으세요. 각 대상의 고유 식별자, 도구 응답, 작업 뒤 상태, 확인 시각, 부분 실패 보고와 되돌리기 방법 중 무엇을 남겨야 ‘완료’라는 말을 감사할 수 있을까요?