시험 자료 1,000개 가운데 950개를 맞힌 AI가 있습니다. 이 95%라는 수만 보고는 부정 표현을 잘 읽는지, 사람 이름을 바꾸어도 같은 판단을 하는지 알기 어렵습니다. 입력 사이의 관계를 하나씩 정해 시험하면 어느 부분을 고쳐야 하는지 구체적으로 찾을 수 있습니다.
연구를 읽는 두 가지 질문
평균 점수에서 놓친 오류는 어떻게 찾을까요?
마르쿠 툴리우 리베이루(Marco Tulio Ribeiro)와 동료들은 2020년 CheckList를 발표했습니다. 언어 능력과 시험 유형을 교차해 점검 항목을 만드는 방법입니다. 논문은 감성 분석, 중복 질문 판별, 기계 독해에 이 방법을 적용해 기존 평가에서 드러나지 않았던 오류를 찾았습니다. 특정 자료에서 높은 정확도를 얻었다는 사실과 여러 언어 능력을 두루 갖췄다는 판단을 구분하게 합니다. [1]
입력을 바꾸기 전에 어떤 관계를 정하나요?
최소 기능 시험(MFT)은 한 가지 능력을 작은 사례로 확인합니다. 불변성 시험(INV)은 답에 영향을 주지 않아야 할 변화 뒤에도 결과가 유지되는지 봅니다. 방향 시험(DIR)은 입력을 바꾼 뒤 출력이 정해 둔 방향으로 움직이는지 확인합니다. 기대 관계는 과제와 문맥에 맞게 정해야 합니다. 이름을 바꾸었다는 이유만으로 모든 과제에서 답이 같아야 하는 것은 아닙니다. [1]
정답표보다 먼저 시험의 기대 관계를 정합니다
다음 예시는 LTCT가 만든 한국어 문장과 가상의 판정값입니다. 실제 AI를 호출하거나 원 논문의 성능을 재현하지 않습니다. 긍정 점수는 0에서 1 사이의 값으로 정하고, 값이 클수록 긍정적으로 판정한 것으로 읽습니다.
최소 기능 시험에서 ‘이 제품은 좋다’는 긍정, ‘이 서비스는 좋지 않다’는 부정으로 기대합니다. 두 번째 문장도 긍정으로 판정했다면 이 사례의 부정 표현을 놓친 것입니다. 다른 문장을 많이 맞혔다는 사실이 이 실패를 없애 주지는 않습니다.
불변성 시험에서는 ‘서울행 비행편은 편안했다’를 ‘부산행 비행편은 편안했다’로 바꿉니다. 문장의 만족도를 판단하는 이번 과제에서 행선지가 답을 바꾸지 않아야 한다고 정한 것입니다. 반대로 도착 도시를 묻는 과제라면 답이 바뀌어야 합니다.
방향 시험에서는 긍정 점수가 0.70인 후기 뒤에 불만을 덧붙이고, 점수가 증가하지 않아야 한다는 기대 관계를 정합니다. 0.40은 내려갔으므로 통과하고, 0.70도 증가하지 않았으므로 통과합니다. 0.90은 이 기대를 어깁니다. ‘반드시 내려가야 한다’는 더 엄격한 조건을 선택했다면 같은 0.70의 판정도 달라집니다.
생각해 보기 · 시험 문장 100개 중 95개를 맞혔지만, 부정 표현이 든 다섯 문장을 모두 틀렸다면 무엇을 더 보고해야 할까요? 해설 · 전체 정확도와 함께 부정 표현 시험의 결과, 입력 예시, 기대 관계를 적어야 합니다. 95% 하나로 그 능력의 실패를 알아보기는 어렵습니다.
조건 바꾸기 · 사람 이름을 바꾸었더니 AI의 답이 달라졌습니다. 언제 오류라고 할 수 있을까요? 해설 · 먼저 이 과제에서 이름이 정답과 무관한지 확인해야 합니다. 인물의 저서를 묻는 문제처럼 이름이 답의 근거라면 답이 달라지는 것이 올바릅니다.
시험 유형을 바꾸어 기대 관계와 실패 사례를 비교해 보세요
저장된 가상 판정값을 세 가지 방법으로 점검합니다. 시험을 바꾸어 입력과 기대 관계가 어떻게 달라지는지 확인하세요.
표가 잘리면 표 안을 좌우로 밀어 보세요.
| 입력 또는 변화 | 기대 관계 | 가상 판정 | 결과 |
|---|---|---|---|
| 이 제품은 좋다. | 긍정 | 긍정 | 통과 |
| 이 서비스는 좋지 않다. | 부정 | 긍정 | 실패 |
| 상담은 정말 친절했다. | 긍정 | 긍정 | 통과 |
통과 2건 · 실패 1건
실제 AI를 호출하지 않습니다. 결과는 교육용 세 사례에만 해당하며 AI 제품의 일반 성능을 뜻하지 않습니다.
어디까지 말할 수 있을까요?
- 여기서 세 시험에 쓰는 문장과 판정값은 모두 교육용으로 고정한 예시입니다. 통과율을 특정 AI 제품의 성능이나 실제 이용자의 실패율로 읽으면 안 됩니다.
- 기대 관계 자체가 잘못되면 정상적인 답도 실패로 분류됩니다. 입력의 뜻과 과제의 목적을 먼저 확인하고, 애매한 문장은 사람이 검토해야 합니다.
- 적은 사례의 행동 시험은 원인을 찾는 데 도움을 주지만 성능 전체를 보증하지 않습니다. 대표성 있는 평가 자료와 실제 사용 조건의 점검을 함께 해야 합니다.
원문에 근거한 한계와 LTCT의 적용 범위 검토입니다. [1]
기록 질문 · 시험을 통과한 AI를 곧바로 믿어도 될까요?
생각을 비교할 해설 펼치기
정해 둔 사례와 기대 관계를 통과했다는 뜻입니다. 시험하지 않은 능력이나 사용 조건까지 검증한 것은 아닙니다. 어떤 입력을 왜 골랐는지와 남은 빈틈을 함께 기록하세요.
원문과 출처 정보
한국어 제목은 이해를 돕기 위한 LTCT 번역입니다. 한글 제목 뒤 괄호에 원제를 함께 표기했습니다. 저자·학술지·원문 버전은 원문 서지정보를 기준으로 확인할 수 있습니다.
정확도를 넘어: CheckList로 자연어처리 모델의 행동을 시험하기 (Beyond Accuracy: Behavioral Testing of NLP Models with CheckList)
Marco Tulio Ribeiro, Tongshuang Wu, Carlos Guestrin & Sameer Singh (2020). Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, 4902–4912.
- 자료 성격
- 동료심사 학회 논문 · ACL Anthology 공개 전문
- 읽은 버전
- ACL 2020 출판본
- 확인 범위
- 공개 전문 2절에서 최소 기능(MFT), 불변성(INV), 방향(DIR) 시험의 정의와 적용 범위를 확인. 한국어 문장·점수·정오 판정은 LTCT 자체 예시.
- 원문 확인일
이 글은 한국어 해설이며 원문 전문 번역이 아닙니다. 도식과 활동의 제작·재구성 범위는 각 그림과 본문에 표시했습니다. 자료 선정과 출처 기준
같은 연구 흐름에서 이어 읽기
같은 원문, 저자·연구 흐름, 공통 개념 태그를 기준으로 연결한 관련 해설입니다.