분석 통계 용어집

"그 행사를 안 했다면 어땠을까"의 가상 실적. 증분을 재려면 이 비교 기준이 꼭 필요합니다. 대조군(홀드아웃)이 없을 때 통계로 추정합니다.

반사실의 실제 숫자. 평시(행사 없던 날) 데이터로 학습한 모델이 행사 기간을 예측한 "예상 매출".

실제 − 기준선. 행사가 평소 대비 "추가로" 만든 성과. 이게 0에 가까우면 "해도 그만 안 해도 그만".

매출에 로그를 씌운 뒤 요일·월·추세로 예측하는 회귀식. 매출은 곱셈적으로 움직여서(예: 주말 1.3배) 로그를 쓰면 더 잘 맞습니다.

요일 효과(주말↑)와 계절성(연말↑)을 모델이 알아서 빼주도록 넣는 변수. "행사 때문"과 "원래 그런 때라서"를 구분합니다.

사업이 장기적으로 늘거나 주는 흐름을 반영. 단, 추세가 꺾인 구간엔 과대/과소 예측이 생길 수 있어 주의(2025 메가 분석의 한계로 지적했던 부분).

로그로 예측한 값을 다시 원래 '원' 단위로 되돌릴 때 생기는 체계적 과소추정을 교정하는 보정. 기준선이 실제보다 낮게 깔리는 걸 막습니다.

행사가 없던 무작위 구간을 똑같은 방식으로 예측해 "오차 분포"를 만듭니다. 행사 없이도 이만큼 오차가 난다면, 그 범위 안의 증분은 효과라고 말할 수 없습니다.

플라시보 오차의 하위 5%~상위 95% 구간 = 90% 노이즈 범위. 예: 앱 ±15%. 증분이 이 띠 안이면 "0과 구분 불가(불명확)".

효과(신호)가 노이즈보다 충분히 커야 "있다"고 말할 수 있습니다. 쿠폰팩은 효과가 노이즈에 묻혀 판정불가로 결론 낸 근거.

모델이 실제 변동을 얼마나 설명하는지(0~1, 1에 가까울수록 좋음). 앱 기준선 R²=0.75는 신뢰, 웹 R²=0.46은 부실 → 웹 대조군을 폐기한 근거.

예측이 실제에서 평균 몇 % 벗어나는지. 낮을수록 정확. 앱 기준선 MAPE 16.6% 등으로 모델 품질을 표기했습니다.

(처리군 변화) − (대조군 변화)로 공통 요인(계절·명절)을 상쇄해 순효과만 남깁니다. 앱(처리)·웹(대조)으로 시도했으나 웹이 너무 불안정해 폐기, 앱 단독 기준선을 채택.

일부 고객을 행사에서 제외해 "진짜 대조군"을 만드는 실험 설계. 관찰 데이터의 한계를 넘는 가장 정확한 증분 측정법으로 다음 단계 제안.

유난히 높았던(또는 낮았던) 값은 다음엔 평균 쪽으로 되돌아가는 경향. 기획전은 "잘 팔릴 때" 선정되기 쉬워, 행사 안 해도 떨어질 걸 행사 효과로 착각하기 쉽습니다 → 선정 직전 피크를 기준선에서 제외해 보정.

할인(D)으로 쓴 돈을 상쇄하려면, 할인받고 산 매출 중 몇 %가 "할인 아니었으면 안 생겼을 순증분"이어야 하는지. 이 비율을 넘어야 행사가 이익.

구매자수는 같은 사람을 한 번만 세는 distinct(순)가 맞습니다. 일별 수치를 그냥 더하면 같은 사람을 여러 번 세는 '연인원'이 됩니다.

전체(모든 결제·주문) / 중개(외부결제·CJ 제외)에 따라 GMV·공헌이익이 크게 달라집니다(예: 9월 GMV 41억 vs 23억). 목표와 실적을 한 기준으로 통일해야 달성률이 의미 있습니다.

취소·반품을 포함하느냐 제외(순/net)하느냐에 따라 실적이 바뀝니다. 공헌이익은 취소 제외(net), GMV는 관례상 포함 등 지표별 규칙을 명시해 사용.