좋아진 결과, 정말 새 방법 덕분일까?

결과는 하나, 바뀐 조건은 둘

공방의 기획자가 새로운 조립 순서를 도입했습니다. 전에는 어두운 작업대에서 기존 순서로 시간당 10개를 만들었고, 이번에는 밝은 작업대에서 새 순서로 16개를 만들었습니다. 생산량이 늘었다는 사실은 분명합니다. 하지만 6개가 늘어난 원인을 작업 순서 하나에 돌리기에는 조명도 함께 바뀌었습니다.

여기서 필요한 것은 더 강한 주장보다 더 나은 비교입니다. 같은 조명에서 방법만 바꾼 결과를 살피면, 방법 차이를 구분할 실마리를 얻습니다. 같은 방법에서 조명만 바꾼 결과를 보면 조명의 효과를 따로 살필 수 있습니다.

참고 · 미국 국립표준기술연구소 NIST/SEMATECH — 실험 설계 선택하기 ↗

표의 가로와 세로가 하는 일

아래 표에는 네 조건이 있습니다. 기존 방법은 어두운 곳에서 10개, 밝은 곳에서 12개이고, 새 방법은 각각 14개와 16개입니다. 조명을 고정해 비교하면 새 방법에서 4개씩 늘어납니다. 방법을 고정하면 밝은 조명에서 2개씩 늘어납니다. 처음 본 6개의 차이는 이 두 변화가 겹친 값입니다.

실험에서 비교할 두 칸을 직접 골라 보세요. 판정은 두 칸 사이에서 어떤 요인이 달라졌는지 보여줍니다. 이 예시는 효과를 분리하는 구조를 보기 쉽게 만든 것입니다. 실제 생산 현장에서 같은 차이가 항상 반복되거나 요인들이 독립적으로 작용한다고 가정해서는 안 됩니다.

참고 · 미국 국립표준기술연구소 NIST/SEMATECH — 실험 설계 선택하기 ↗

현실의 실험에 더 필요한 것

사람마다 숙련도가 다르고 같은 사람도 피로에 따라 결과가 달라집니다. 실제 검증에서는 참여자를 적절히 배정하고 여러 번 측정하며, 작업 순서나 시간대가 한 조건에만 몰리지 않도록 설계해야 합니다. 따라서 이 표에서 얻는 핵심은 ‘새 방법은 언제나 4개를 늘린다’가 아니라, 원인을 판단하려면 비교 조건부터 정리해야 한다는 점입니다.