어떤 모델이 다음 작업에 20분이 걸린다고 예측했습니다. “대략”이라는 말을 붙이고 싶지만, 1분의 여유면 될지 10분이 필요한지 모르겠습니다. 그럴듯한 폭을 임의로 고르는 대신, 모델이 보지 못했던 자료에서 얼마나 틀렸는지 살펴볼 수 있습니다.
연구를 읽는 두 가지 질문
모델 밖에 보정 자료를 남겨 두는 이유
Angelopoulos와 Bates의 입문 자료는 이미 학습한 모델의 예측에 불확실성 집합이나 구간을 붙이는 컨포멀 예측을 설명합니다. 대표적인 자료 분할 방식은 학습에 사용하지 않은 보정 자료에서 오차 점수를 구하고, 목표 미포함률에 맞는 순위의 점수를 선택합니다. [1]
90%라는 말은 어느 범위의 약속일까?
자료는 보정 자료와 새로운 자료가 같은 분포에서 독립적으로 나온다는 조건에서 주변적 포함률을 설명합니다. 이는 보정·새 자료의 무작위성을 평균한 성질입니다. 특정 한 사례나 모든 하위 집단 각각에 90%의 조건부 보장이 자동으로 생긴다는 뜻은 아닙니다. [1]
작은 오차부터 세어 선택하기
LTCT의 가상 절대오차는 1, 2, 2, 3, 3, 4, 4, 5, 6분입니다. 보정 자료는 아홉 개이고, 새 예측의 중심은 20분으로 둡니다. 목표 포함률 90%에서는 ⌈(9+1)×0.9⌉=9번째 오차 6을 골라 [14, 26]분을 만듭니다.
목표를 80%로 바꾸면 8번째 오차 5를 골라 [15, 25]분이 됩니다. 폭이 좁아지지만 같은 포함률을 유지한다고 말할 수는 없습니다. 포함 목표와 정보의 정밀함 사이의 관계를 슬라이더로 비교해 보세요.
새 관측값도 바꿀 수 있습니다. 27분은 두 구간 모두 벗어나지만, 26분은 90% 설정의 경계에 들어갑니다. 관측값을 바꾸어 포함 여부를 보는 것은 구간의 정의를 확인하는 연습이지, 이 아홉 개 가상 오차가 실제 작업 시간을 잘 대표한다는 증거가 아닙니다.
포함률 목표에 따라 구간을 바꾸세요
학습에 쓰지 않은 가상 보정 자료 9개의 절대오차를 작은 순서대로 놓았습니다. 목표 포함률을 바꾸면 선택할 오차 순위와 예측 구간이 달라집니다.
- 1번째1
- 2번째2
- 3번째2
- 4번째3
- 5번째3
- 6번째4
- 7번째4
- 8번째5
- 9번째6선택
선택 순위: ⌈(9 + 1) × 0.9⌉ = 9
예측 20 ± 6 → [14, 26] · 이 관측값은 구간 밖에 있습니다.
전체 자료를 반복해서 보았을 때의 포함률 보장입니다. 특정 개인이나 특정 한 번의 관측이 반드시 포함된다는 뜻은 아닙니다. 보정·새 자료가 같은 분포에서 독립적으로 나온다는 조건을 둡니다.
어디까지 말할 수 있을까요?
- 가상 보정 자료의 한 번 계산입니다. 경험적 포함률 실험이나 실제 모델의 성능 검증이 아닙니다.
- 자료 분포가 달라지거나 시계열 의존이 있으면 기본 보장을 그대로 적용할 수 없습니다. 활동에서는 독립·동일분포 조건을 둡니다.
- 90%는 모든 개별 구간에 대해 관측값이 들어갈 조건부 확률이 90%라고 읽는 표현이 아닙니다.
원문에 근거한 한계와 LTCT의 적용 범위 검토입니다. [1]
교육 현장과 연결해 보면
확률 수업에서 가상 예측 구간의 폭을 좁히거나 넓히며 실제 값이 들어온 횟수를 셉니다. 학생은 구간의 폭과 포함 비율이 각각 어떤 정보를 주는지 설명합니다.
구간을 정하는 자료와 마지막 확인에 쓰는 자료를 나누어 활동합니다. 교사는 전체 사례에 대한 포함 비율과 개별 사례에 대한 확정적 보장을 구분하여, 주장에 사용한 분모를 표시하게 합니다.
한 번 구간 밖에 나왔으니 방법이 틀린 걸까요?
생각을 비교할 해설 펼치기
포함률 보장은 모든 관측값을 포함하겠다는 약속이 아닙니다. 한 번의 실패만으로 방법을 반증하거나 한 번의 성공만으로 검증할 수 없습니다. 조건이 지켜지는지 확인하고, 충분한 독립 평가 자료에서 포함률과 폭을 함께 살펴야 합니다.
원문과 출처 정보
한국어 제목은 이해를 돕기 위한 LTCT 번역입니다. 한글 제목 뒤 괄호에 원제를 함께 표기했습니다. 저자·학술지·원문 버전은 원문 서지정보를 기준으로 확인할 수 있습니다.
컨포멀 예측과 분포 비가정 불확실성 정량화 입문 (A Gentle Introduction to Conformal Prediction and Distribution-Free Uncertainty Quantification)
Anastasios N. Angelopoulos & Stephen Bates (2021). arXiv:2107.07511.
- 자료 성격
- 연구자 공개 입문 논문
- 읽은 버전
- arXiv v6, 2022-12-07 개정
- 확인 범위
- 1절 보정 절차·순위, split conformal 보장과 주변적 포함률 해석 확인
- 원문 확인일
이 글은 한국어 해설이며 원문 전문 번역이 아닙니다. 도식과 활동의 제작·재구성 범위는 각 그림과 본문에 표시했습니다. 자료 선정과 출처 기준
같은 연구 흐름에서 이어 읽기
같은 원문, 저자·연구 흐름, 공통 개념 태그를 기준으로 연결한 관련 해설입니다.