인공지능(AI)에게 원칙을 주면 안전한 답이 자동으로 보장될까?
Constitutional AI 공개본의 비판·수정과 AI 피드백 강화학습 절차를 구분하고, 원칙 선택과 평가의 남은 한계를 살핍니다.
그림에서 무엇을 볼까요?
초안에서 원칙 비판과 수정으로 이어지는 지도학습 단계, 응답 비교에서 선호모형과 강화학습으로 이어지는 단계를 나눈 절차도.
가상 상담 답안이 개인 연락처를 자세히 요구하고, 모르는 사실을 확정적으로 말하며, 위험한 절차를 단계별로 적었다고 합시다. 개인정보·정직성·안전 원칙은 서로 다른 문제를 찾아냅니다. 한 원칙을 통과했다고 전체 안전성이 확인된 것은 아닙니다.
아래 활동은 실제 AI나 외부 API를 호출하지 않습니다. 원칙과 초안/수정안을 선택하면 미리 정한 교육용 위험 신호 수가 달라집니다. 원 연구의 모델 점수나 실시간 안전 판정기가 아니라 절차의 각 단계를 구분하려는 모형입니다.
함께 확인할 점
확인한 버전은 2022-12-15 arXiv v1입니다. 이후 모델과 상용 시스템의 현재 동작을 이 논문 결과로 대신 설명할 수 없습니다.
평가 모델과 대상 모델이 공유하는 편향, 원칙의 문화적·정치적 선택, 새로운 위험 유형에 대한 일반화는 남은 문제입니다.
생각해 볼 질문
원칙이 많을수록 더 안전한가요?
