전 회차의 인계 · 평가계획 · 조건부 검토
시작 전 회의에서 무엇을 미리 물어야 할까?
제3부의 회의에서는 시범 운영의 시작일 확정을 보류했습니다. 운영팀과 시설팀이 같은 이용 조건을 검토했는지, 필요한 자료와 적격 인력이 실제로 연결되는지 확인이 남았기 때문입니다. 부지 매입도 계속 보류 중입니다. 이번 회의의 출발점은 그 상태입니다. 새 보고서가 생겼다는 이유로 지난 회의의 확인 사항을 완료 처리할 수는 없습니다.
질문설계자는 기존 문화시설에서 시민이 관심 있는 활동을 골라 짧게 체험하고, 다음 이용 방법까지 안내받는 프로그램의 평가계획을 별도 안건으로 올립니다. 운영을 시작하기 전에 무엇을 알아볼지 정해야, 필요한 순간의 경험과 자료를 놓치지 않기 때문입니다. 오늘은 그 계획이 쓸모 있는지 가상 결과로 예행 검토합니다.
“두 차례만 시범 운영을 해 보고 잘되면 정규 프로그램으로 늘립시다. 방문객 수와 만족도를 받으면 판단할 수 있겠지요?”
“잘됐다는 보고를 받으면 무엇을 바꾸시겠습니까? 운영 횟수, 이용 대상, 안내 인력 가운데 오늘 평가계획이 뒷받침해야 할 다음 결정부터 말씀해 주십시오.”
발주자는 “운영일을 늘릴지, 안내 방식을 고쳐 같은 규모로 한 번 더 확인할지 결정하고 싶다”고 답합니다. 질문설계자는 두 선택을 적고, 어느 자료를 보아도 확대할 생각인지 확인합니다. 결과에 따라 선택이 달라져야 평가에 필요한 질문도 구체화됩니다.
“시작 승인은 지난 회의에서 정한 인계 결과와 필요한 허가·전문 검토를 확인한 권한자가 별도로 판단합니다. 오늘은 그 승인이 난 뒤 사용할 평가계획을 검토하는 것으로 안건의 범위를 확인해 주시겠습니까?”
“그 범위로 준비하겠습니다. 아직 운영을 시작했다는 보고는 없습니다. 앞으로 이런 결과가 나올 경우 무엇을 판단할지 연습하겠습니다.”
이후 등장하는 방문 기록과 이용자 발언은 모두 이 회의에서 만든 교육용 자료입니다. 실제 운영 실적이나 실제 조사 응답은 없습니다. 시작 조건이 충족되어 운영이 승인될 경우를 가정하되, 그 조건이 현실에서 충족되었다고 결론내리지는 않습니다. 평가계획을 만드는 일과 현장의 시작 여부를 정하는 일은 각자의 근거와 책임을 갖습니다.
질문설계자는 평가 담당자를 지금 부릅니다. 운영이 끝난 다음에 “왜 떠났는지 알아봐 달라”고 요청하면 이미 떠난 사람의 경험을 확인하기 어려울 수 있습니다. 무엇을 언제 누구에게 물을지 결정하는 시점 자체가 평가의 질에 영향을 줍니다.
목적 · 관찰할 경험 · 사전에 정할 판단 조건
‘잘됐다’는 말 다음에 어떤 결정을 할 것인가?
이번 프로그램의 잠정 목적은 시설을 처음 찾은 시민도 필요한 도움을 받으며 관심 있는 활동에 참여하고, 다음 이용 방법을 이해할 수 있도록 하는 것입니다. 단순히 건물 안으로 들어온 사람 수만 세면 이 목적의 일부만 알 수 있습니다. 반대로 활동을 마친 사람의 기분만 물으면 시작조차 어려웠던 사람을 놓칠 수 있습니다.
“누가 어떤 경험을 할 수 있어야 이 프로그램을 늘릴 이유가 생깁니까? 도착한 뒤 활동을 고르고, 참여하고, 다음 이용 방법을 알아보는 과정에서 무엇을 확인하겠습니까?”
“어디에서 시작을 어려워하는지, 정한 활동을 끝낼 수 있는지, 어떤 안내가 도움이 되는지 보겠습니다. 운영 담당자가 평소 확보할 수 있는 인력으로 그 도움을 제공할 수 있는지도 함께 확인하겠습니다.”
질문설계자는 ‘완료’의 뜻부터 맞춥니다. 이 훈련에서는 안내된 활동 하나를 시작해 마지막 단계까지 수행한 상태를 완료로 셉니다. 완료했다고 해서 내용을 모두 이해했거나 다음에도 방문할 뜻이 있다는 의미까지 생기는 것은 아닙니다. 다음 이용 방법을 이해했는지는 이용자가 자신의 상황에 맞게 설명할 수 있는지 별도로 살펴야 합니다.
생각그림 1 · 목적에서 다음 결정으로
“그럼 만족도 80%를 넘으면 성공이라고 정해 두면 간단하겠습니다.”
“그 비율이 누구의 어떤 응답인지부터 정해야 합니다. 활동을 시작하지 못한 사람이 있어도 같은 결정을 내리시겠습니까? 확대하기 전에 반드시 설명되어야 할 어려움은 무엇입니까?”
발주자는 처음 찾은 시민이 안내를 놓쳐 활동을 시작하지 못한다면 그 과정을 먼저 고치겠다고 답합니다. 안내를 늘려 해결할 경우에는 다음 운영에서도 그 인력을 확보할 수 있어야 한다고 덧붙입니다. 질문설계자는 이 답을 결과를 보기 전의 판단 조건으로 기록합니다. 전체 평균이 좋아도 특정 이용 조건에서 반복되는 어려움이 남으면 원인과 대응을 먼저 검토한다는 뜻입니다.
아직 합의할 근거가 부족한 항목에는 임의의 통과 점수를 붙이지 않습니다. 어떤 경험과 자료를 대조하고, 누구와 해석하며, 의견이 다를 때 누가 결정할지 정합니다. 새 사실 때문에 판단 조건을 고쳐야 한다면 이전 조건과 변경 이유를 함께 남깁니다. 그래야 기대한 결과에 맞춰 기준을 바꾼 것인지 검토할 수 있습니다.
미국 질병통제예방센터(CDC)의 2024년 평가 지침은 평가의 쓰임에 맞춰 질문과 자료를 정하고, 해석과 결과 활용을 연결하도록 설명합니다. 이 글에서는 평가계획을 설계하는 참고로 사용합니다. [원문 2]
조회 · 입장 · 고유 이용자 · 관찰 기간
240회와 72회와 60명은 같은 숫자일까?
평가계획의 첫 예행 검토입니다. 가상 보고서의 표지에는 “홍보 240건, 방문 72명, 만족도 80%”라고 적혀 있습니다. 얼핏 세 숫자가 한 이야기를 하는 듯 보입니다. 질문설계자는 먼저 표의 작성자에게 각 숫자를 무엇으로 셌는지 설명해 달라고 요청합니다.
“240과 72는 각각 무엇을 한 번으로 센 값입니까? 기록한 기간과 중복을 처리한 방법을 같은 표에 적어 주시겠습니까?”
“240은 홍보 페이지를 연 횟수입니다. 72는 두 차례의 시범 운영 동안 기록한 시설 입장 횟수입니다. 사람 수처럼 표기한 부분을 고쳐야 합니다. 가상 집계에서 중복 방문을 대조하면 실제로 온 사람은 60명입니다.”
| 기록 | 값 | 무엇을 센 것인가? |
|---|---|---|
| 홍보 페이지 | 240회 | 홍보를 시작한 날부터 두 번째 운영 종료까지의 조회. 같은 사람이 여러 번 열 수 있습니다. |
| 시설 입장 | 72회 | 두 차례 운영 시간 안의 입장 기록. 두 번 온 사람은 두 번 셉니다. |
| 고유 이용자 | 60명 | 같은 두 차례 운영의 중복 방문을 대조한 사람 수. 한 사람을 한 번 셉니다. |
이 가상 자료에서는 48명이 한 번씩, 12명이 두 번씩 왔습니다. 따라서 사람은 48 + 12 = 60명이고 입장 기록은 48 + 24 = 72회입니다. 이 대조가 끝났다는 가정 아래에서만 60명을 사용할 수 있습니다. 실제 기록이 입장 횟수만 담고 있다면, 그 자료만으로 고유 이용자 수를 알아낼 수는 없습니다.
“그러면 조회한 240명 중 60명이 방문했으니, 홍보를 본 사람의 4분의 1을 데려온 셈이군요.”
“조회 240회와 방문자 60명을 같은 사람의 이동 과정으로 연결할 자료가 있습니까? 홍보 페이지를 보지 않고 찾아온 사람과 반복 조회를 어떻게 구분했습니까?”
240은 사람 수가 아니며, 홍보 페이지의 기록과 시설의 집계는 개인별로 연결되어 있지 않습니다. 60을 240으로 나누는 계산은 가능해도 이를 방문 전환율이라고 부를 근거는 갖춰지지 않았습니다. 질문설계자는 홍보 도달을 평가할 질문과 현장 이용을 평가할 질문을 구분합니다. 숫자를 한 줄로 나란히 썼다는 사실이 같은 집단의 변화라는 뜻을 만들지는 않습니다.
오늘의 안건은 시민이 프로그램을 이용할 때 어떤 어려움을 겪는지 확인하는 일입니다. 그래서 우선 두 차례 운영의 고유 이용자 60명을 기준으로 경험을 살핍니다. 홍보 방법의 효과는 별도 질문과 자료가 필요한 안건으로 남깁니다. 익명으로 구성한 이 훈련용 집계에는 이름이나 연락처가 없으며, 실제 조사에서는 목적에 필요한 정보와 동의·보호 방법을 담당자가 먼저 검토해야 합니다.
완료율의 분모 · 응답 범위 · 누락된 경험
80%라는 평가에는 누구의 경험이 들어 있는가?
다음 표에는 고유 이용자 60명의 첫 방문 경험만 한 번씩 정리되어 있습니다. 두 번째 방문은 반복 이용을 살필 별도 기록으로 남겨 두었습니다. 이 기준을 먼저 정해야 여러 번 온 사람의 완료 횟수가 사람 수와 섞이지 않습니다. 프로그램을 시작한 사람은 48명이고 그중 36명이 정한 마지막 단계까지 마쳤다고 가정합니다.
“활동을 시작한 뒤 마친 비율을 묻고 있습니까, 아니면 도착한 사람이 실제로 활동을 마칠 수 있었는지를 묻고 있습니까? 두 질문에 필요한 분모를 각각 써 주십시오.”
시작한 사람을 기준으로 하면 36 ÷ 48 = 75%입니다. 현장에 온 사람 전체를 기준으로 하면 36 ÷ 60 = 60%입니다. 두 비율은 같은 자료에서 나왔고 각각 다른 질문에 답합니다. 75%만 보고하면 시작 전 단계에서 빠진 12명의 상황이 표에서 사라집니다. 60%만 적고 설명을 생략하면 도착 전의 기대와 현장 참여 과정 가운데 어디를 고칠지 알기 어렵습니다.
생각그림 2 · 어느 단계에서 기록이 갈라지는가?
“완료자 36명에게만 마지막 장소에서 설문을 드렸습니다. 30명이 답했고 그중 24명이 “안내가 도움이 됐다”를 선택했습니다. 그래서 80%라고 적었습니다.”
“그 80%가 답하는 정확한 질문은 무엇입니까? 응답한 30명과 그 밖의 이용자를 나눠, 누구의 경험이 아직 확인되지 않았는지 읽어 주십시오.”
24 ÷ 30 = 80%는 설문에 답한 완료자 가운데 안내가 도움이 됐다고 답한 비율입니다. 완료자 중 응답하지 않은 6명의 판단은 알 수 없습니다. 시작 전에 떠난 12명과 시작 후 중단한 12명에게는 이 설문 자체가 전달되지 않았습니다. 전체 이용자 60명 중 30명의 설문 응답만 있으므로, 다른 30명의 만족도를 같은 비율로 채울 수 없습니다.
그렇다고 나머지 모두가 불만족했다고 셀 근거도 없습니다. 시간이 부족했거나, 설문 참여를 원하지 않았거나, 질문을 이해하기 어려웠을 수 있습니다. 질문설계자는 누락된 이유를 자료에서 확인된 것과 아직 모르는 것으로 구분합니다. 응답이 없는 자리는 확인되지 않은 상태로 남겨 둡니다.
“지금 평가계획을 고친다면, 마지막 장소까지 오지 못한 사람의 경험은 어디에서 어떻게 들을 수 있습니까? 참여를 거절할 선택을 보장하면서 부담을 줄일 방법을 제안해 주십시오.”
평가 담당자는 종료 장소의 설문만 두던 계획에, 시작 전 문의와 중단 지점의 관찰 기록, 자발적으로 경험을 설명할 수 있는 별도 방법을 더합니다. 누가 어느 단계에서 떠났는지의 집계와 떠난 이유에 관한 설명은 구분해서 받습니다. 관찰자가 이유를 추측해 답변으로 기록하지 않도록 안내도 준비합니다. 질문설계자는 질문을 바꾼 결과가 자료 수집 방식의 수정으로 이어졌는지 확인합니다.
집단별 차이 · 관찰과 설명 · 질문의 강도
누구에게는 도움이 되고, 누구에게는 막히는가?
가상 자료를 이용 경험에 따라 나누자 또 다른 차이가 나타납니다. 이 구분의 ‘처음’은 이 문화시설 자체를 처음 방문했다는 뜻입니다. 같은 사람이 두 차례 운영에 모두 왔더라도 첫 방문 당시의 구분을 유지했습니다.
| 시설 이용 경험 | 고유 이용자 | 활동 완료 |
|---|---|---|
| 이 시설이 처음 | 40명 | 20명 |
| 이전 이용 경험 있음 | 20명 | 16명 |
| 합계 | 60명 | 36명 |
첫 집단의 완료는 20 ÷ 40 = 50%, 둘째 집단은 16 ÷ 20 = 80%입니다. 이 차이는 처음 찾은 시민이 어떤 조건에서 어려움을 겪는지 물을 이유가 됩니다. 시설에 익숙하다는 사실이 차이의 원인이라고 곧바로 확정할 수는 없습니다. 도착한 시간과 선택한 활동, 이용 가능한 시간 등 다른 조건이 함께 다를 수 있기 때문입니다.
“처음 오신 분들은 안내문을 자세히 보지 않은 것 같습니다. 다음에는 입구에서 읽어 달라고 강조하면 되겠습니다.”
“이용자가 실제로 어디에서 무엇을 보았는지부터 들어 보겠습니다. 안내를 읽었다고 가정한 지점과 그 사람이 선택해야 했던 지점이 같은 곳입니까?”
“입구에서는 안내를 받았습니다. 안쪽 갈림길에서는 활동 이름과 방 이름이 달라서 어디로 가야 할지 망설였습니다. 누구에게 물을지 찾다가 돌아왔습니다.”
“갈림길에서 어떤 안내가 보였고 무엇을 고르려 하셨습니까? 그때 어떤 도움을 받을 수 있었다면 다음 단계로 가기 편했을지 말씀해 주시겠습니까?”
이용자에게는 설명할 시간을 줍니다. 질문설계자는 “왜 제대로 읽지 않았습니까”라고 원인을 미리 정하지 않습니다. 발언 하나가 전체 집단의 어려움을 대표한다고 보지도 않습니다. 지금 얻은 것은 구체적으로 확인할 장소와 상황입니다. 평가 담당자는 같은 지점의 관찰 기록, 다른 이용자의 설명, 안내물의 실제 표현을 대조할 계획을 세웁니다.
“저는 설명은 이해했지만 약속 시간이 다가와서 중간에 나왔습니다. 활동이 얼마나 걸리는지 처음에 알았으면 다른 것을 골랐을 것 같습니다.”
같은 ‘중단’도 다른 질문을 낳습니다. 길을 찾기 어려운 사람에게 필요한 것은 이동 중의 안내일 수 있고, 시간이 부족한 사람에게 필요한 것은 선택 전에 알 수 있는 활동 길이일 수 있습니다. 질문설계자는 두 경험을 하나의 불만 항목으로 합치지 않고, 어느 시점의 어떤 정보를 바꾸어야 하는지 따로 검토합니다. 필요한 접근 지원은 그 사람의 선택과 상황에 맞춰 살핍니다.
“운영 담당자는 두 어려움에 대해 무엇을 고칠 수 있으며, 평가 담당자는 그 수정이 도움이 됐는지 무엇으로 확인하겠습니까? 시설 조건과 관련된 변경은 어느 담당자의 검토로 연결합니까?”
이 질문에서는 책임이 있는 담당자에게 구체적인 답을 요구합니다. 이용자가 모든 해결책을 설계할 의무를 지는 것은 아닙니다. 담당자는 경험을 개선 가능한 조건으로 바꾸고, 그 조건을 시행할 권한과 자원을 확인해야 합니다. 작은 집단의 경험에서는 전체 평균에 드러나지 않은 어려움을 확인할 수 있습니다. 질문설계자는 그 경험을 잠정 목적에 비추어 검토합니다.
전후 비교 · 외부 요인 · 실행 조건
늘어난 방문은 무엇 덕분이라고 말할 수 있을까?
이제 발주자는 가상 운영일과 그 전주의 방문 기록을 비교합니다. 전주에 대응하는 두 차례 운영의 입장 합계는 40회였고, 이번 두 차례 시범 운영에서는 72회였으니, 프로그램 덕분에 32회 늘었다고 설명하고 싶어 합니다. 질문설계자는 증가량의 산술과 증가한 이유의 판단을 구분해 묻습니다.
“두 기간에 프로그램 외에 달라진 조건은 무엇입니까? 운영 시간, 홍보, 날씨와 주변 행사, 무료 제공 여부를 같은 범위로 확인했습니까?”
“전주에는 비가 왔고 이번에는 인근 행사와 무료 체험 홍보가 있었습니다. 시설을 연 시간도 완전히 같지 않았습니다. 현재 표에는 입장 합계만 들어 있습니다.”
72 − 40 = 32라는 차이는 두 기록에 있습니다. 다만 프로그램이 없었더라도 주변 행사나 날씨 때문에 방문이 달라졌을 가능성이 남아 있습니다. 시간당 방문으로 고쳐 계산하더라도 홍보와 날씨의 차이까지 자동으로 해결되지는 않습니다. 질문설계자는 각 차이가 어떤 해석에 영향을 주는지 평가 담당자가 설명하도록 요청합니다.
“오늘 필요한 판단은 방문 증가의 원인을 확정하는 것입니까, 아니면 안내를 고칠 위치를 찾는 것입니까? 각각에 필요한 비교 자료와 확인 기간을 제시해 주십시오.”
갈림길의 안내 표현을 검토하는 일에는 실제로 망설인 지점과 안내물을 대조한 자료가 도움이 됩니다. 반면 프로그램 때문에 시민의 문화시설 이용이 얼마나 늘었는지 주장하려면 더 강한 비교 설계가 필요합니다. 목적이 다른 두 질문에 같은 증거 수준을 요구하거나, 쉬운 질문의 답으로 큰 주장을 완성해서는 판단이 어긋납니다.
영국 재무부의 마젠타 북은 시행 전부터 평가 자료를 계획하고, 관측된 변화 중 사업의 기여를 살피려면 비교 조건을 검토하도록 안내합니다. 이 가상 자료의 전후 차이만으로 프로그램의 인과 효과를 산출하지 않는 이유도 여기에 있습니다. [원문 1]
“그러면 옆 문화시설의 방문객 수와 비교하면 충분하겠습니까?”
“두 시설은 누구에게 어떤 서비스를 언제 제공하며, 프로그램이 없어도 비슷하게 변했을 근거가 있습니까? 비교할 곳을 고르는 이유부터 평가 담당자가 설명해 주십시오.”
비교 대상이 있다는 사실만으로 비교가 타당해지는 것은 아닙니다. 위치, 이용자 구성, 행사 일정이 다르면 그 차이를 검토해야 합니다. 무엇을 어떤 방법으로 비교할 수 있는지는 적절한 전문성을 가진 평가 담당자가 판단할 일입니다. 질문설계자는 임의로 시민을 두 집단에 배정하거나 서비스를 제한하는 실험을 지시하지 않습니다. 자료의 품질과 실행 여건을 검토한 설계를 요청합니다.
또 하나의 가상 보고가 도착합니다. 두 차례 운영 동안에는 다른 업무를 잠시 멈춘 직원이 안내를 도왔다고 합니다. 참여 완료가 늘어났더라도 그 도움을 다음 운영에서 유지할 수 있는지에 따라 선택이 달라집니다. 질문설계자는 사용한 사람의 시간, 잠시 뒤로 미룬 업무, 같은 지원을 제공할 비용을 확인합니다. 시범 운영의 성과에는 결과뿐 아니라 그 결과를 만든 조건도 들어갑니다.
확대안의 조건 · 자원 · 기존 검토의 적용 범위
시범 때의 도움을 줄여도 같은 결과를 기대할까?
발주자는 안내에 대한 긍정 응답을 근거로 평일 저녁까지 운영을 늘리자고 제안합니다. 동시에 예산을 맞추기 위해 시범 때 추가했던 안내 지원을 줄이고, 사전 예약 없이도 참여하게 하자고 합니다. 이름은 같은 프로그램이지만 이용자와 직원이 마주할 조건은 여러 곳에서 달라집니다.
“지금 확대하려는 안에서 시범 운영과 같은 조건은 무엇이며, 바꾸려는 조건은 무엇입니까? 기존 결과가 어느 부분까지 적용되는지 항목별로 확인하겠습니다.”
생각그림 3 · 변경된 조건을 다시 묻는 경로
시범에서 관찰한 조건
한정된 운영 시간
추가 안내 지원
안내받은 참여 방식
다음 안의 변경 제안
평일 저녁까지 확대
추가 지원 축소
예약 없이도 참여
돌아가 확인할 질문
누가 도움을 제공하는가?
어떤 이동·대기가 생기는가?
어느 검토를 갱신하는가?
“안내가 도움이 됐다는 응답을 보고 확대를 제안했습니다. 다만 안내 지원을 줄인 상태에서도 같은 경험을 제공할지는 확인하지 않았습니다.”
“확대의 근거로 든 도움을 줄이려는 이유와 대안을 함께 제시해 주십시오. 그 도움을 유지하거나 다른 방식으로 제공할 인력과 비용은 누가 결정합니까?”
이 질문은 발주자와 자원 배정 책임자에게 향합니다. 직원 개인에게 더 빨리 움직이면 해결되는지 묻기 전에, 실제로 제공하려는 서비스와 그에 필요한 자원을 맞춰야 합니다. 평가 담당자는 추가 지원이 있었던 시간을 표시하고, 운영 담당자는 평상시 근무 계획과 비교합니다. 다른 업무의 공백까지 살펴야 확대의 비용을 설명할 수 있습니다.
“운영 시간과 참여 방식이 바뀌면 이동과 대기의 조건도 달라질 수 있습니다. 바뀐 운영안을 받은 뒤 기존 검토의 적용 범위를 확인하겠습니다.”
질문설계자는 이 답을 제3부의 인계 기록에 연결합니다. 새 운영안의 작성자와 받는 사람, 바뀐 항목과 확인할 결과가 드러나야 합니다. 긍정적인 설문 응답은 이 절차를 생략할 근거가 될 수 없습니다. 필요한 시설 이용·허가·안전 검토와 해당 안건의 권한자 판단은 계속 적용됩니다.
“변경의 영향을 확인하기 전까지 어느 확정을 보류합니까? 이미 확인한 조건으로 할 수 있는 선택과, 새 검토 뒤에 판단할 선택을 나누어 주십시오.”
이 구분은 모든 일을 처음부터 되풀이하는 부담을 줄여 줍니다. 예컨대 안내문에서 활동 이름을 찾기 어려웠다는 관찰은 계속 참고할 수 있습니다. 그러나 추가 안내 인력이 있을 때의 완료 경험을 인력을 줄인 운영의 성과로 그대로 옮기기는 어렵습니다. 적용할 수 있는 결과를 보존하면서 새 조건이 요구하는 검토를 지정하는 것이 이번 질문의 효과입니다.
마젠타 북은 시행이나 평가계획의 변경이 해석에 미치는 영향을 알리고 기록하도록 안내합니다. 여기서는 그 원칙을 운영 조건의 변경과 다음 판단을 연결하는 데 참고했습니다. [원문 1]
가상 보고 두 조건 · 첫 질문 · 후속 판단
같은 숫자 옆에 새 보고가 오면 무엇부터 물을까?
질문설계자는 같은 보고회의에서 가능한 네 가지 응답을 시범으로 보여 줍니다. 첫 조건은 판단에 필요한 근거가 어디까지 갖춰졌는지이며, 둘째 조건은 다음 운영안이 검토한 이용 조건을 유지하는지입니다. 조건을 선택하면 먼저 질문할 상대와 질문, 그 답을 받아 요청할 판단이 함께 바뀝니다.
‘근거가 갖춰짐’은 별개의 미래 보고를 검토하기 위한 가정입니다. 실제 운영이나 제3부의 남은 검토가 완료됐다는 의미는 없습니다. 어느 경우에도 점수 하나로 시설의 안전이나 시작 여부를 승인하지 않습니다. 독자는 질문설계자의 응답을 관찰하며, 아래에서 네 경우를 모두 읽을 수 있습니다.
① 엇갈린 자료 · 검토한 조건 유지
- 누구에게 어떻게 묻는가?
- 평가 담당자와 운영 담당자에게, 자료의 범위를 확인하는 질문
- 질문설계자의 첫 질문
- 완료자의 응답 밖에 있는 이용 경험은 무엇이며, 어느 지점을 보완하면 다음 선택을 판단할 수 있습니까?
- 이 답이 낳는 다음 질문
- 누락을 확인할 방법과 부담, 가능한 확인 시점을 누가 제안합니까?
- 지금 요청할 판단
- 확대 확정은 보류하고, 안내 과정의 보완과 필요한 확인 계획을 별도 안건으로 요청합니다. 확인할 수 있는 범위와 비용을 정한 뒤 권한자가 판단합니다.
네 경우에 대한 질문설계자의 시범 전체 읽기
① 엇갈린 자료 · 검토한 조건 유지
기본 가상 자료처럼 누락된 경험과 원인에 관한 확인이 남은 경우입니다. 완료율과 설문 비율은 확인된 집단의 결과로 유지합니다.
평가 담당자와 운영 담당자에게, 자료의 범위를 확인하는 질문
“완료자의 응답 밖에 있는 이용 경험은 무엇이며, 어느 지점을 보완하면 다음 선택을 판단할 수 있습니까?”
이어지는 질문: “누락을 확인할 방법과 부담, 가능한 확인 시점을 누가 제안합니까?”
요청할 판단: 확대 확정은 보류하고, 안내 과정의 보완과 필요한 확인 계획을 별도 안건으로 요청합니다. 확인할 수 있는 범위와 비용을 정한 뒤 권한자가 판단합니다.
② 엇갈린 자료 · 운영 조건 변경
자료가 부족한 데다 평가 대상의 조건까지 달라진 경우입니다. 이전 표에 응답만 더 모아도 새 운영안을 설명할 수 있는지부터 확인합니다.
운영·시설 담당자에게 먼저, 이어 평가 담당자에게 묻는 질문
“안내 지원과 운영 시간이 바뀌면 어느 검토가 영향을 받으며, 누락된 이용 경험은 어떤 조건을 기준으로 확인해야 합니까?”
이어지는 질문: “수정한 운영안을 누가 받아 검토하고, 평가계획의 적용 조건은 언제 함께 맞춥니까?”
요청할 판단: 변경된 운영안의 확정을 보류합니다. 먼저 변경 내용과 검토 책임을 연결하고, 그 조건에서 필요한 자료 수집과 보완 계획을 정합니다.
③ 판단 근거가 갖춰짐 · 검토한 조건 유지
이 경우에 한해 누락된 경험·대안·비용 검토와 해당 안건의 필요한 허가·전문 검토·권한 확인까지 갖춰졌다는 교육용 가정입니다. 실제 제3부의 검토가 끝났다는 보고는 아닙니다.
해당 안건의 권한자에게, 선택과 책임을 분명히 요구하는 질문
“적용 조건, 대안, 비용과 남은 불확실성을 검토한 지금, 확대·유지·중단 중 어느 선택을 어떤 이유로 결정하시겠습니까?”
이어지는 질문: “선택한 범위와 자원, 결과를 확인할 사람과 재검토 시점을 함께 정해 주시겠습니까?”
요청할 판단: 합의한 범위의 다음 안건에 관한 결정을 요청합니다. 근거가 갖춰졌다는 가정은 자동 승인을 뜻하지 않으며, 권한자가 승인하거나 거절할 이유를 남깁니다.
④ 기존 조건의 근거는 갖춰짐 · 새 조건 제안
충분한 근거는 확인한 조건에 대응합니다. 조건을 바꾸면 영향을 받는 범위를 다시 확인해야 하며, 확인 완료를 자동으로 새 조건에 옮기지 않습니다.
변경 제안자와 검토 책임자에게, 적용 근거를 요구하는 질문
“갖춰진 근거 가운데 새 안내 인력과 운영 시간에도 적용할 수 있는 것은 무엇이며, 달라진 부분을 누가 다시 검토합니까?”
이어지는 질문: “기존 조건으로 판단할 안건과 변경 조건의 확인을 기다릴 안건을 어떻게 나누겠습니까?”
요청할 판단: 기존 결과의 유효한 범위를 보존하고, 변경의 영향을 받는 확정은 새 검토 뒤 판단합니다. 기존 조건의 안건을 결정할 근거와 권한이 있다면 그 결정을 별도로 요청합니다.
자료가 부족한 상태에서는 확인할 경험과 방법을 구체화하고, 운영 조건이 바뀌면 검토의 적용 범위를 먼저 맞춥니다. 충분한 근거가 도착한 상태에서는 결정권자가 선택을 설명하도록 요청합니다. 질문의 강도는 보고서의 분량이나 발표 일정만으로 정해지지 않습니다. 상대가 가진 정보와 맡은 권한, 지금 판단할 수 있는 안건에 맞춰 달라집니다.
정보의 가치 · 기다림의 비용 · 판단 권한
더 알아볼 일과 지금 결정할 일은 어떻게 나눌까?
예행 검토를 마치자 평가 담당자는 더 많은 자료를 모으려면 시간이 필요하다고 말합니다. 발주자는 이미 다음 달 홍보를 준비하고 있다며 결정을 재촉합니다. 질문설계자는 “빨리”와 “충분히” 사이에서 막연한 타협을 찾기보다, 다음 선택을 실제로 바꿀 확인부터 정합니다.
“지금 남은 확인 중 결과에 따라 확대나 보완의 선택이 달라지는 것은 무엇입니까? 그 답을 얻는 데 필요한 시간과 자원을 담당자가 설명해 주십시오.”
“가상 일정에서 다음 검토회의까지 확인할 수 있는 것은 안내의 어떤 지점에서 어려움이 생기는지와 보완 계획입니다. 장기간 재방문 효과까지 알 수 있는 기간은 아닙니다. 실제 자료를 모으는 일정은 시작 승인과 운영 일정을 받은 뒤 맞추겠습니다.”
질문설계자는 ‘추가 조사’라고만 적던 항목을 질문, 받을 자료, 확인 책임, 판단할 시점으로 나눕니다. 조사할 수 있는 기간이 짧다면 그 기간에 답할 수 있는 질문의 범위를 밝힙니다. 긴 기간이 필요한 효과는 이후 확인 항목으로 남기고, 현재 자료가 허용하는 개선 판단을 먼저 검토합니다.
“결정을 미루면 이용할 수 있는 시민이 기다리고, 이미 준비한 직원의 시간도 낭비됩니다.”
“기다리는 동안 제공할 수 있는 기존 서비스는 무엇입니까? 이번 확인에 사람을 배정하면 뒤로 미룰 업무와, 확인 없이 늘렸을 때 생길 부담을 함께 비교해 주십시오.”
이것이 이번 회의의 기회비용입니다. 더 조사하면 보고서 작성비뿐 아니라 시민이 서비스를 받는 시점과 다른 업무의 시간이 달라집니다. 바로 확대하면 도움이 필요한 지점의 문제가 더 많은 사람에게 반복될 수 있습니다. 질문설계자는 이 영향들을 같은 안건에 적습니다. 이미 쓴 홍보비를 되돌리려는 마음과 앞으로 사용할 자원의 선택도 구분해 검토합니다.
발주자가 충분한 근거를 받은 뒤에도 “조금 더 지켜보자”는 말만 반복하는 경우에는 질문이 달라집니다. 추가로 어떤 자료가 오면 선택을 바꿀지, 기다림의 이익이 그 비용을 설명하는지 요구해야 합니다. 신중함은 판단을 계속 미루는 이유로 무제한 사용할 수 있는 표현이 아닙니다.
“지금 안건에 필요한 검토와 권한은 확인됐다고 하셨습니다. 추가로 어떤 답을 기다리며 그 답이 선택을 어떻게 바꿉니까? 그런 확인이 더 없다면 오늘 승인하거나 거절할 결정을 내려 주십시오.”
이번 회의의 실제 범위는 여전히 평가계획입니다. 따라서 질문설계자는 발주자에게 그 계획의 질문, 자료 수집 부담과 자원 배정을 판단해 달라고 요청합니다. 가상 자료처럼 엇갈린 결과가 실제로 나온다면 확대를 확정하기 전에 누락된 경험과 변경 조건을 검토하겠다는 대응도 기록합니다. 가상 결과를 검토한 사실이 실제 운영의 성공이나 실패 판정으로 바뀌지 않도록 합니다.
누가 무엇을 확인하는가?
평가 담당자는 기록의 단위·누락·비교의 한계를 정리합니다. 운영 담당자는 이용 경험과 지원 인력을 대조합니다. 시설 담당자는 변경된 이용 조건이 필요한 검토에 미치는 영향을 확인합니다.
언제 어떤 판단을 요청하는가?
평가계획의 범위와 자원은 지금 권한자에게 판단을 요청합니다. 실제 결과의 검토 시점은 승인된 운영 일정에 맞춰 정하고, 결과를 받으면 합의한 범위의 확대·보완·유보 안건을 구분합니다.
어떤 새 사실이 결정을 바꾸는가?
새로운 이용 어려움, 지원 인력의 변경, 다른 시간대의 조건, 자료의 누락이나 오류가 확인되면 영향을 받는 판단을 다시 검토합니다. 수정한 근거와 책임자를 기록합니다.
누구에게 무엇을 설명하는가?
이용자에게는 들은 어려움이 어떻게 검토되었는지 설명합니다. 결정권자에게는 선택 이유와 남은 불확실성을, 다음 담당자에게는 확인할 조건과 기한을 전달합니다.
질문설계자는 담당자들에게 이 기록을 읽어 달라고 요청합니다. 자료를 만드는 사람이 생각한 완료와 결정을 내리는 사람이 요구하는 근거가 같은지 마지막으로 확인하기 위해서입니다. 답이 충분하면 결정을 요청하고, 새 조건이 생기면 그 조건이 영향을 주는 질문을 다시 엽니다.
질문설계도 · 다음 결정을 위한 평가
결과표를 어떤 질문의 순서로 읽을 것인가?
제1부에서는 사업의 목적을 물었고, 제2부에서는 자료가 허용하는 결정의 범위를 살폈습니다. 제3부에서는 각 팀의 결과와 적용 조건이 이어져야 함께 시작할 수 있음을 확인했습니다. 이번에는 시작 전에 평가의 쓰임을 정하고, 엇갈린 결과가 도착했을 때 질문이 어디로 이어져야 하는지 예행 검토했습니다.
생각그림 4 · 평가계획에서 다음 판단까지
방문 기록을 사람 수로 읽으면 프로그램에 온 사람의 규모를 잘못 설명할 수 있습니다. 완료한 사람에게만 받은 설문으로 전체 경험을 설명하면 시작 전의 어려움을 놓칠 수 있습니다. 지원 인력을 줄이면서 같은 성과를 기대하면 관찰한 조건과 다음 운영의 조건이 어긋납니다. 질문설계자는 이 차이마다 누구에게 무엇을 확인할지 정했습니다.
그 과정에서 경험을 말하는 이용자에게는 설명할 기회를 주었고, 자료를 만든 담당자에게는 수집 방법과 한계를 물었습니다. 확대를 결정할 사람에게는 근거와 자원, 선택의 책임을 요구했습니다. 모든 상대에게 같은 질문을 되풀이하는 방식으로는 이 연결을 만들기 어렵습니다.
“이 결과는 누구의 어떤 경험을 보여 주며, 지금 어떤 결정을 뒷받침합니까?”
평가계획은 자료를 모을 목록에서 끝나지 않습니다. 예상 밖의 결과가 왔을 때 무엇을 고치고, 근거가 충분해졌을 때 누구에게 어떤 판단을 요청할지까지 포함합니다. 질문설계자는 그 다음 상황을 함께 설계합니다.
질문설계자가 남긴 여덟 개의 평가 검토 질문
- 평가 결과를 받은 뒤 누가 어떤 결정을 내려야 하는가?
- 누구의 어떤 경험을 바꾸려 하며, 무엇을 완료와 성과로 구분해 확인하는가?
- 각 숫자의 단위·기간·분모·중복 처리 기준은 무엇인가?
- 도착하지 못하거나 시작·완료·응답에서 빠진 사람의 경험은 어떻게 확인하는가?
- 관찰한 차이를 설명할 다른 조건은 무엇이며, 지금 자료로 어디까지 말할 수 있는가?
- 다음 운영안은 시범의 인력·시간·참여 조건을 어떻게 바꾸며, 어느 검토를 다시 필요로 하는가?
- 추가 확인이 선택을 어떻게 바꾸며, 기다리는 동안 얻고 잃는 것은 무엇인가?
- 근거와 권한이 갖춰지면 언제 결정을 요청하고, 어떤 새 사실이 생기면 누가 다시 판단하는가?
읽고 확인한 원문과 적용 범위
- 영국 재무부·평가 태스크포스, 마젠타 북(Magenta Book: Central Government guidance on evaluation) · 2026년 5월 15일 개정 HTML
1.6~1.8절의 사전 자료 계획과 관측 변화의 해석, 2.2.4·3.5절의 비교 조건, 5.8절의 변경 기록을 참고했습니다. 본문의 방문 기록과 가상 대담은 이 원문에 실린 사례가 아닙니다.
- 미국 질병통제예방센터, 프로그램 평가 틀(CDC Program Evaluation Framework, 2024) · Kidder 외, MMWR 73(6), 1–37
2024년 9월 26일 발표. 3~6단계의 평가 질문과 쓰임, 신뢰할 수 있는 자료, 해석의 근거와 한계, 결과 활용을 참고했습니다. 원문의 절차를 이 시범의 자동 판정 규칙으로 사용하지 않습니다.
원문 확인: 2026년 10월 21일. 두 자료는 평가 설계의 참고 문헌이며 한국 문화시설의 허가·안전 규정이 아닙니다. 모든 인물·시설·프로그램·집계·발언·회의 결과는 교육용 가정입니다. 실제 사업의 이용 조건과 전문 검토, 권한자의 승인은 해당 절차에서 확인해야 합니다.