파레토 경계는 비용과 품질의 최선 후보를 어떻게 남길까?

비용을 줄이면 품질이 달라지는 여섯 구성을 비교한다

요약 서비스를 운영하며 모델 크기, 검색 횟수, 재시도 횟수가 다른 A–F 구성을 시험했다고 하자. 요청 1천 건당 비용은 낮을수록 좋고, 사람 채점 품질은 높을수록 좋다. 한 지표만 정렬하면 싼 구성은 품질을, 높은 품질 구성은 비용을 숨긴다. 파레토 경계는 두 목표를 동시에 읽으며 다음 검토에 남길 후보를 찾는다.

이 글의 점은 실제 LTCT 서비스 측정값이 아니라 도표 읽기용 자료다. 각 후보는 같은 평가 세트, 같은 기간, 같은 가격 산식으로 측정했다고 가정한다. 비용에는 입력·출력 토큰, 검색, 재시도, 사람 검토 중 무엇을 포함했는지 적는다. 품질에는 표본 수와 채점 기준을 붙여 서로 다른 분모를 같은 축에 놓지 않는다.

한 후보가 다른 후보를 지배한다는 뜻을 계산한다

비용을 최소화하고 품질을 최대화할 때 X가 Y보다 비용이 같거나 낮고 품질이 같거나 높으며, 둘 중 하나에서는 엄격히 좋으면 X가 Y를 지배한다. C는 E보다 싸고 품질도 높으므로 E를 지배한다. B는 C보다 싸지만 품질이 낮아 서로 지배하지 못한다. 이렇게 지배되지 않은 점의 집합이 관측된 후보의 파레토 경계다.

경계 위의 점이 자동으로 최종 선택이 되는 것은 아니다. A는 가장 싸지만 품질 72점이고 D는 품질 91점이지만 비용이 높다. 두 점 모두 다른 점에게 두 축에서 함께 밀리지 않는다. 최종 선택에는 최소 품질, 최대 예산, 응답시간 상한, 안전 규칙과 같은 정책이 더 필요하다. 경계는 후보 압축이고 의사결정은 그 다음 단계다.

축의 방향과 단위를 먼저 고정한다

비용, 지연, 오류율은 낮을수록 좋고 품질, 재현율, 처리량은 높을수록 좋은 경우가 많다. 방향을 뒤집지 않은 채 같은 비교식을 쓰면 지배 관계가 반대로 나온다. 원단위를 유지하면서 축 제목에 방향을 적거나, 모두 최소화 문제로 바꾸면 품질에는 음수나 1−품질 같은 변환을 적용하고 변환식을 공개한다.

원화, 초, 백분율을 합친 단일 점수는 가중치에 따라 결과가 달라진다. 파레토 경계는 임의 가중 합을 만들기 전에 교환관계를 보존한다. 로그 비용축을 쓰면 넓은 범위를 읽기 쉬워지지만 점 사이 시각적 거리가 바뀐다. 축 변환, 측정 기간, 가격 기준일을 적고 후보 라벨이 겹치지 않게 배치한다.

파레토 경계와 80/20 파레토 차트를 구분한다

파레토 경계는 여러 목표에서 다른 후보에게 지배되지 않는 해의 집합이다. 품질관리의 파레토 차트는 문제 원인을 빈도순 막대로 놓고 누적 비율을 더해 큰 원인을 찾는다. 이름의 뿌리는 같아도 질문과 문법이 다르다. 80% 선이 있는 막대그래프를 비용–품질 경계라고 부르지 않는다.

의사결정 트리는 조건에 따라 한 경로를 고르고, 산점도는 두 연속 변수의 관계를 보여 준다. 파레토 경계는 산점도 위에 지배 판정을 얹은 결과다. 후보가 하나뿐이거나 모든 목표를 하나의 확정 가중치로 합의했다면 경계가 주는 이점이 작다. 목표 충돌과 선택권을 보여 줄 때 사용한다.

예산과 최소 품질 제약을 겹쳐 실행 가능한 후보를 찾는다

예산이 6 이하이고 품질이 80 이상이어야 한다면 전체 파레토 경계에서도 B와 C만 실행 가능하다. A는 싸지만 최소 품질을 통과하지 못하고 D는 품질이 높지만 예산을 넘는다. 제약을 숨긴 채 D를 최고의 점으로 강조하면 실제 운영 선택과 어긋난다. 경계와 함께 실행 가능 영역을 옅은 배경이나 선으로 표시한다.

제약이 바뀌면 후보 집합도 달라진다. 예산을 4로 줄이면 B가 남고, 품질 기준을 87로 높이면 C가 남는다. 제약값을 데이터에서 사후로 골라 원하는 후보를 만들지 않고 운영 책임자가 미리 정한다. 제약을 넘는 정도와 예외 승인 절차도 표에 남겨 도표 밖의 정책 판단을 추적할 수 있게 한다.

세 번째 목표부터는 한 장의 평면이 전체를 담지 못한다

비용·품질에 지연을 더하면 3차원 목적 공간이 된다. 비용–품질 그림에서 지배되는 점도 지연이 매우 낮으면 세 목표에서는 비지배가 될 수 있다. 두 축 투영만 보고 삭제하지 말고 원자료에서 모든 목표의 지배 관계를 계산한다. 화면에는 쌍별 산점도, 평행좌표, 후보별 표와 선택한 두 축을 나누어 제공한다.

목표가 많아질수록 대부분의 후보가 서로 비지배가 되어 경계가 너무 커질 수 있다. 이때 핵심 제약, 참조점, 허용 손실, 선호 순서를 추가해 후보를 좁힌다. 레이더 차트의 넓이로 다목적 최적화를 대신하면 축 순서와 정규화가 결과를 흔든다. 원수치 표와 명시적 규칙으로 결정한다.

측정 오차가 작은 점 차이를 뒤집을 수 있다

품질 88점과 89점이 각각 95% 신뢰구간 84–91과 85–92라면 점 하나만으로 순서를 확정하기 어렵다. 비용도 일별 부하와 캐시 적중률에 따라 변한다. 반복 측정의 분포, 신뢰구간, 가격 변동 범위를 함께 표시하고 경계가 반복 표본에서 얼마나 자주 유지되는지 확인한다.

불확실한 후보를 확정 지배로 지우기 전에 보수적 규칙을 정한다. 신뢰구간 전체가 다른 후보보다 나을 때만 지배로 보거나, 부트스트랩마다 경계를 계산해 포함 확률을 보고할 수 있다. 어떤 규칙을 썼는지 명시한다. 점 사이 차이가 측정 정밀도보다 작으면 추가 측정 대상으로 남긴다.

LLM에는 후보표와 방향·제약을 함께 제공한다

LLM에 후보ID, 모든 목표의 원수치, 단위, 좋은 방향, 표본 수, 불확실성, 실행 가능 제약을 표로 준다. 먼저 누락과 단위 불일치를 찾고, 모든 후보 쌍의 지배 판정을 표로 만들며, 비지배 후보만 별도 목록으로 반환하게 한다. 자료가 없으면 그럴듯한 후보나 가격을 채우지 않게 한다.

그다음 도표 사양에는 축 범위, 변환, 라벨, 경계 연결 규칙, 제약선과 불확실성 표시를 적게 한다. 최종 권고는 정책 가중치 없이 한 후보를 최고라고 선언하지 않고, 예산·품질 문턱별 남는 후보를 보여 준다. 사람이 원자료 계산을 독립 코드로 다시 확인한다.

잘못된 경계는 축과 후보를 골라 결론을 만든다

수정 전 그림은 품질 축을 84–91로 잘라 작은 차이를 크게 보이고, 비싼 후보 두 개를 자료에서 제외한 뒤 한 모델에 “최적” 배지를 붙였다. 지연 목표를 숨겨 비용–품질 두 축에서만 지배를 계산했고, 서로 다른 평가 세트의 점수를 섞었다. 경계선을 점의 x순서대로 이어 실제 지배 관계처럼 보이게 했다.

수정 후 모든 후보와 목표를 같은 조건의 원자료로 정리하고 축 범위와 변환을 공개했다. 전체 목표 벡터에서 비지배 집합을 계산한 뒤 선택한 두 축에 투영했다. 최소 품질·예산 제약, 95% 구간, 경계 포함 불확실성을 함께 표시하고 “최적” 대신 “현재 조건의 비지배 후보”라고 썼다.

복사해서 쓸 수 있는 LLM 요청문

아래 요청문은 교육용 예시다. 원문을 함께 제공하고, 모델이 빈칸을 추측하지 않도록 금지 조건을 넣었다. 결과를 받으면 원문 문장과 노드·선의 대응을 사람이 다시 확인한다.

다음 후보들의 파레토 경계를 검산해 줘.
1. 후보ID, 목표, 단위, 좋은 방향, 표본 수와 측정 기간을 확인한다.
2. 단위와 분모가 다른 값은 섞지 않는다.
3. 모든 후보 쌍에서 각 목표의 우열과 지배 여부를 표로 보인다.
4. 비지배 후보 집합과 지배된 이유를 분리한다.
5. 예산·최소 품질·지연 상한을 적용한 실행 가능 후보를 다시 계산한다.
6. 불확실성 구간이 겹치면 순위를 확정하지 않고 추가 측정을 표시한다.
7. 두 축 그림이 전체 목표의 투영임을 밝힌다.
8. 실제 값이 없으면 후보나 수치를 만들지 않는다.

[후보표] …

직접 실습하고 결과를 읽기

이 실습은 브라우저 안에 준비한 교육용 자료만 사용한다. 외부 LLM을 호출하거나 실제 기관 자료를 조회하지 않는다. 입력을 바꾸어 결과가 어떻게 달라지는지 보고, 설명과 맞지 않는 결과가 나오면 어떤 정보가 빠졌는지 적어 본다.

자료와 출처

아래 자료는 이번 글의 정의와 표기법을 확인하는 데 사용했다. 생각그림과 사례 문장은 원자료를 복제하지 않고 이 글의 교육 목적에 맞게 새로 구성했다.

• Kalyanmoy Deb 외, A Fast and Elitist Multiobjective Genetic Algorithm: NSGA-II, IEEE, 2002
• pymoo 공식 문서, Multi-Criteria Decision Making