‘모든 새는 날 수 있다’는 문장을 보면 논리적 관계를 따지기도 전에 펭귄이 떠오릅니다. 배경지식은 일상 판단에 유용하지만, 주어진 조건만으로 결론을 판단하는 과제에서는 다른 방향으로 작용할 수 있습니다. 익숙함과 논리적 구조를 구별해 볼 이유입니다.
연구를 읽는 두 가지 질문
어떻게 비교했나요?
Dasgupta와 동료들은 자연어 추론, 삼단논법, 웨이슨 선택 과제에서 논리적 구조를 유지하면서 내용을 바꾼 문제를 사람과 여러 언어모델에 제시했습니다. 일상적 믿음에 맞는 내용, 어긋나는 내용, 의미가 낯선 표현 등을 비교했습니다. 2024년 PNAS Nexus에 실린 연구입니다. [1]
무엇을 발견했나요?
연구에서는 사람과 모델 모두 추론 구조뿐 아니라 문제 내용의 영향을 받는 양상이 관찰되었습니다. 영향의 구체적인 모습은 과제와 조건에 따라 달랐습니다. 따라서 한 종류의 친숙한 문제에서 얻은 점수만으로 내용이 달라져도 유지되는 추론 능력을 판단하기는 어렵다는 시사점을 줍니다. [1]
내용을 바꾸고 구조를 그대로 두기
다음 두 문항은 원문의 실험 자극을 옮긴 것이 아니라 LTCT가 만든 비교 예시입니다. ① 모든 우주비행사는 훈련을 받았다. 민서는 우주비행사다. 따라서 민서는 훈련을 받았다. ② 모든 우주비행사는 식물이다. 민서는 우주비행사다. 따라서 민서는 식물이다.
각 문항의 전제를 가정하고 추론의 타당성만 판단한다면 둘의 구조는 같습니다. 두 번째 첫 전제가 현실에서 이상하다는 판단과, 그 전제들을 받아들였을 때 결론이 따라온다는 판단은 함께 가능합니다. 먼저 구조를 표시하고 나중에 전제의 사실 여부를 검토해 보세요.
어디까지 말할 수 있을까요?
- 사람과 모델이 비슷한 오류를 보였다고 해서 내부에서 같은 방식으로 사고한다는 결론이 나오지는 않습니다.
- 연구 당시의 모델, 영어 과제와 참가자 조건을 고려해야 합니다. 결과를 모든 한국어 학습자나 현재의 모든 AI 성능으로 일반화할 수 없습니다.
원문에 근거한 한계와 LTCT의 적용 범위 검토입니다. [1]
교육 현장과 연결해 보면
학습 과제를 개발할 때 같은 구조에 생활 소재, 낯선 소재, 기호 표현을 적용한 문항 묶음을 만들어 볼 수 있습니다. 내용만 바뀌었을 때 수행이 어떻게 달라지는지 확인하는 방식입니다.
낯선 단어가 만드는 독해 부담과 추론의 어려움은 구별해 해석해야 합니다. 문항 형식의 다양성 자체가 공정성이나 타당도를 보장하지는 않으므로 실제 응답 자료로 점검할 필요가 있습니다.
같은 구조의 두 문제에서 답을 다르게 골랐다면, 무엇부터 확인하면 좋을까요?
생각을 비교할 해설 펼치기
문장 속 수량 표현과 조건이 실제로 같은지 먼저 확인하세요. 그다음 전제의 현실적 참·거짓과 전제에서 결론이 따라오는지를 혼동했는지 돌아볼 수 있습니다. 단어를 A와 B로 바꿔 적어 보는 것도 한 가지 방법입니다.
원문과 출처 정보
한국어 제목은 이해를 돕기 위한 LTCT 번역입니다. 한글 제목 뒤 괄호에 원제를 함께 표기했습니다. 저자·학술지·원문 버전은 원문 서지정보를 기준으로 확인할 수 있습니다.
추론 과제에서 인간과 유사한 내용 효과를 보이는 언어모델 (Language models show human-like content effects on reasoning tasks)
Ishita Dasgupta, Andrew K. Lampinen, Stephanie C. Y. Chan, Hannah R. Sheahan, Antonia Creswell, Dharshan Kumaran, James L. McClelland, Felix Hill (2024). PNAS Nexus, 3(7), pgae233.
- 자료 성격
- 학술지 실험 연구
- 읽은 버전
- 2024년 학술지 발행본 · 공개 본문 arXiv v4도 확인
- 확인 범위
- 공개 본문의 과제 설계, 사람·모델 비교 결과, 방법과 논의
- 원문 확인일
이 글은 한국어 해설이며 원문 전문 번역이 아닙니다. 도식과 활동의 제작·재구성 범위는 각 그림과 본문에 표시했습니다. 자료 선정과 출처 기준
같은 연구 흐름에서 이어 읽기
같은 원문, 저자·연구 흐름, 공통 개념 태그를 기준으로 연결한 관련 해설입니다.