CRM 캠페인 성과 측정·실험 설계 워크북

발송량, 클릭, 업무 완료는 서로 다른 질문에 답합니다. 클릭이 늘어도 고객이 하길 바라는 행동이 늘었는지는 별도 데이터로 확인해야 합니다. 지표마다 집계 단위, 분모, 데이터 원천, 관측 기간을 적고 수신 거부·중복 안내 같은 부작용 지표를 함께 정합니다.

가상 예제 IXC-DEMO-01의 목표는 초대를 수락한 사용자의 공동 작업 완료입니다. invitation_accepted 뒤 같은 업무 연결 기준의 shared_task_completed를 확인합니다. 여정 설계의 종료 조건과 성과 집계의 완료 정의가 일치해야 합니다.

개인에게 메시지를 보내더라도 팀원이 서로 영향을 주는 서비스라면 작업 공간 단위의 배정·분석을 검토합니다. 배정 단위와 분석 단위를 기록하고 같은 대상이 재진입할 때 집단을 유지할지 정합니다.

대상 모집 기간과 각 대상의 관측 기간도 구분합니다. 작성 예제에서 수락 뒤 7일을 관측하기로 했다면 마지막 날에 들어온 사람도 7일이 지나야 같은 기준으로 비교할 수 있습니다. 늦게 들어온 대상이나 이벤트 누락을 임의로 한 집단에서만 빼지 않습니다. 관측이 끝나지 않았으면 그 상태와 처리 방법을 기록합니다.

문구 A/B 비교는 문구 외의 대상·시각·다른 노출 조건이 맞는지 확인합니다. 안내를 추가한 집단과 추가하지 않은 집단을 비교한다면 실험과 무관한 필수 안내는 그대로 유지합니다. 단순 전후 비교에서는 제품 변경·유입 변화·계절 등 다른 설명도 검토합니다.

OneSignal의 Split Branch는 여정 경로를 나누는 기능입니다. 재진입 뒤 배정이 바뀌는지와 여러 여정의 노출이 겹치는지는 공식 Journey Actions 문서와 실제 설정에서 확인합니다. 표본·기간·중단 기준은 실행 전에 정하고 결과가 좋아 보이는 순간 임의로 시험을 끝내지 않습니다.

아래는 계산 연습용 합성 수치입니다. 단위별 관측이 완료됐다는 전제로 비율을 계산합니다.

54÷200=27%, 42÷200=21%이며 관측 차이는 6%p입니다. 이 값만으로 캠페인이 6%p를 개선했다고 판단하지 않습니다. 배정 유지, 팀 간 영향, 다른 캠페인 노출, 데이터 누락과 표본 불확실성을 확인해야 합니다. 완료 행동이 매출이 아니라면 완료율을 매출이나 ROI로 바꾸지 않습니다.

서버 완료 이벤트와 채널 보고서는 데이터 원천이 다릅니다. 같은 사용자의 중복 완료를 어떻게 세는지, 사용자·작업 공간·초대 ID가 맞는지, 늦게 온 이벤트를 언제까지 반영하는지 기록합니다. 수집 가능한 보고 항목은 OneSignal Analytics 문서와 대조합니다.

분모·분자가 비어 있으면 결과도 미확인으로 둡니다. 실제 완료 건수 0과 미입력은 다릅니다. 분모가 0이거나 완료가 분모보다 많으면 집계 범위를 다시 확인합니다. 결과표에는 관측한 값과 해석의 제약, 다음에 확인할 일을 함께 적습니다.

한국어 PDF와 CRM Excel에는 실험 설계, 집계·관측, 결과 해석 양식과 완료율 계산 시트가 있습니다. 관측→추가 확인→유지·변경·중단 결정→담당·확인 시점 순으로 기록합니다. 설정 버전과 결과를 연결하면 다음 실행에서 같은 조건을 재현할 수 있습니다.

IXC의 CRM 전략 컨설팅과 캠페인 운영은 현재 목표·보고서·이벤트 누락을 기준으로 계측, 실험 설계, 결과 분석과 후속 운영 범위를 정합니다.