사람이 카드 순서를 바꾸고 공식 올리가 같은 두 평균을 적으며 순서 정보의 소실을 확인합니다. · 한국논리학협회 · AI 생성 배경 · 공식 올리 원본오늘의 질문파랑-노랑과 노랑-파랑을 각각 평균 내면 AI가 둘을 구별할 수 있을까요?
파랑-노랑과 노랑-파랑 벡터를 평균 내면 둘 다 0.5와 0.5가 되는 비교. · 한국논리학협회 자체 제작그림 크게 보기 ↗01두 토큰을 숫자로 놓자
파랑을 (1,0), 노랑을 (0,1)로 나타냅시다. 파랑-노랑의 단순 평균은 ((1+0)/2,(0+1)/2)=(0.5,0.5)입니다.
02순서를 바꿔도 평균은 같다
노랑-파랑은 ((0+1)/2,(1+0)/2)=(0.5,0.5)입니다. 덧셈의 순서를 바꿔도 합이 같기 때문에 평균만 남긴 표현은 어느 색이 먼저였는지 복원할 수 없습니다. Deep Sets가 다루는 합 기반 표현의 순열 불변성과 같은 성질입니다.
03모든 언어 모델이 순서를 잊는다는 뜻은 아니다
이 결론은 위치 정보가 없는 고정 토큰 벡터를 단순 평균 낸 이 장난감 실험에 한정됩니다. 실제 모델은 위치 인코딩이나 문맥화된 토큰 표현으로 평균 전 단계에 순서 정보를 넣을 수 있습니다. 따라서 풀링 방식과 풀링 전에 무엇을 계산했는지를 함께 확인해야 합니다.
순서를 바꿔도 평균은 같은지 확인하기
현재 순서: (1,0) → (0,1)
단순 평균: (0.5, 0.5)
위치 정보가 없는 고정 토큰 벡터의 단순 평균에서는 두 순서가 같은 표현이 됩니다.
관계를 읽고, 다른 상황에 적용하기두 문제로 생각 확인
출처와 제작 안내
원문을 참고해 설명·도표·문항·실험을 새로 작성했습니다. 별도 표시가 없는 사례와 수치는 학습을 위한 가상 예시입니다. 원문 번역이나 실제 모델의 성능 평가 자료가 아닙니다.
- Deep Sets ↗Manzil Zaheer et al.
