[내일배움캠프] 디지털 마케팅_75일차

*본 게시글은 단순 학습 목적으로 작성되었습니다.*

 

✅TODO : , 아티클 스터디, 마케팅 강의

 

---

아티클 스터디

📡[브알 #107] 세포라가 올리브영한테 SOS 친 이유 🚨

📡[브알 #107] 세포라가 올리브영한테 SOS 친 이유🚨

올리브영의 글로벌 진출과 세포라와의 파트너십

# 물 들어왔을 때 노 젓는 올리브영

전세계 K-뷰티 시장에서 미국이 차지하는 비율이 23.4%로 단일 국가 중 1위
2025년 기준 약 276억 달러 규모, 2033년까지 연평균 9.5%씩 성장할 것으로 전망

# 올리브영의 필승 전략

1️⃣ 한다면 제대로 하기. 현지 법인부터 물류, 소싱, 마케팅까지 현지화
올해 3월 미국 캘리포니아에 미국 서브센터 구축 - 북미에 유통할 상품의 통관, 보관, 배송 담당
세포라에 입점할 상품에 대해 E2E 물류 서비스 제공
(E2E: End-to-End, 생산부터 유통까지 전 과정 연결 구조)

2️⃣ 현지 트렌드를 저격하는 체험형 콘텐츠
AI 피부·두피 진단 및 400여개의 한국 뷰티 브랜드 제품 테스트
올리브영 성수점에서 피부진단 컨설팅을 받는 고객 중 87%가 외국인
미국에서는 스키니피케이션(두피를 얼굴처럼 관리하는 트렌드)라는 신조어가 있음

3️⃣ 경쟁자 '세포라'와 손잡은 이유
이번 협업으로 세포라의 온오프라인 채널에 올리브영이 직접 큐레이션한 K-뷰티존이 신설됨
세포라가 갖고 있는 마케팅과 세일즈 인프라를 활용하여 현지 시장 노출 극대화 가능
세포라 입장 : 공급 리스크 없이 최신 트렌드의 제품을 확보할 수 있음, 경쟁사(울타뷰티)에 맞서 올리브영이 입증된 큐레이션 방식 자체를 수입함으로써 트렌드에 민감한 브랜드로 자리잡을 수 있음 

---

AI 기반 이터레이션 & 광고 개선

2-1. A/B 테스트의 필요성 및 정의

지역 최소점
지금 상태보다 약간 나아 보이는 지점을 최적화라고 착각하는 현상
→ 전체 퍼널을 기준으로 보면 오히려 악화인 경우

<영향 요소>
- 시간 관련 : 요일별 차이, 시간대별 차이
- 사용자 관련 : 새로운 고객 vs 기존 고객, 연령대, 지역
- 외부 요인 : 경쟁사 광고, 시장 상황, 계절적 요인
- 기술적 요인 : 웹사이트 속도, 모바일 vs  PC

→ A/B 테스트는 다른 모든 조건은 똑같이 하고, 딱 하나만 바꿔서 비교하는 방법

A/B 테스트
두 가지 버전을 동시에 테스트해서 어떤 게 더 좋은지 비교하는 방법

<A/B 테스트의 핵심 원리>
A = 기존 버전
B = 새로운 버전
동일한 조건 : 같은 시간, 같은 대상, 같은 환경
하나만 다름 : 테스트하고 싶은 딱 한 가지만 변경
→ 어떤 요소가 원인인지 파악하기 쉬움

 

2-2. A/B 테스트의 핵심 개념과 설계 원리

독립변수
인과 관계에서 원인이 되는 변수, 종속변수에 영향을 줄 것이라고 기대되는 변수
- 역할 : 인과관계 모델에서 '원인' 역할
- 특징 : 실험에서 단 하나만 바꿔야 하는 "테스트 대상 요소"
- 다른 이름 : 설명변수

종속변수
독립변수에 의해 영향을 받을 것으로 기대되는 변수, 인과 관계에서 결과가 되는 변수
- 역할 : "결과" 역할
- 특징 : 독립 변수의 처치에 따라 값이 변화하는 변수
- 조건 : 반드시 측정 가능해야 하며, 실험 전에 "어느 정도 변화가 기대되는지" 정의

통제변수
종속변수에 영향을 줄 수 있기 때문에 '동일하게 유지해야 하는 조건들'
→ 통제변수가 다를 시, 실험군과 대조군이 "동일 모집단"이라고 볼 수 없어 A/B 테스트가 인과관계 증명 불가

대조군
현재 운영 중인 버전, 아무 변화를 주지 않은 상태

실험군
변경된 독립변수가 적용된 버전

<비교 시 원칙>
1. 오직 독립변수만 다르게 적용, A와 B는 단 1개의 요소만 다르게
2. 그 외 모든 것은 동일해야 함
- 예산, 타겟, 기간, 입찰전략, 게재 위치, 랜딩 속도
3. 통제변수 철저히 유지

단변수 테스트
하나의 변수만 변경하여 테스트
목적 : 단일 변수의 효과 비교
원칙 : 한 번에 하나만 바꿈
특징 : 해석 명확, 실험 설계 간단, 적은 트래픽에서도 실험 가능, 실무에서 가장 많이 사용됨

다변수 테스트
두 개 이상의 요소를 동시에 변경하여 테스트
목적 : 여러 변수들이 결합된 조합이 최적의 성과를 내는지 분석
원칙 : 두 개 이상의 변수를 동시에 바꿔 조합 효과까지 테스트
특징 : 인사이트는 깊지만 표본 수가 많이 필요함, 분석이 매우 복잡, 광고/신규 서비스 초반에는 부적합

 

2-3. A/B 테스트 가설 수립

가설
A/B 테스트의 전체 성공을 좌우하는 핵심 요소

<좋은 가설 수립의 3가지 효과>
실험 목적 명확
무엇을 검증하는지 명확히 정의되므로, 불필요한 실험을 줄이고 팀의 리소스를 아낄 수 있음.
실험 진행 중에도 목적을 잃지 않고 집중 가능

해석 명확
테스트가 성공했는지 실패했는지 판단 기준이 명확해짐. 실패하더라도 배움이 선명하게 남아 다음 실험에 활용 가능

전략적 선택 가능
가설이 정교하면, 어떤 실험을 우선순위로 진행해야 하는지 명확해져 "해야 할 테스트"와 "하지 않아야 할 테스트" 구분 가능

<좋은 가설의 선순환>
좋은 가설 → 좋은 실험 설계 → 빠른 조직 학습 → 높은 전환율 개선

<잘못된 가설 수립의 문제점>
문제가 명확하지 않음
실험 목적 모호
어떤 지표로 판단할지 불분명함
얼마나 개선되면 의미있는지 기준 부재

<좋은 가설의 3가지 조건>
명확성
가설은 변경하려는 원인(독립변수)과 그로 인해 개선될 것으로 기대하는 결과(종속변수)를 정확히 표현해야 함
EX) CTA 문구를 변경하면 클릭률 증가 / 이미지 변경 시 구매 전환율 개선
→ '무엇을 바꿀지(독립변수)'와 '무엇을 측정할지(종속변수)' 정확히 표시

측정 가능성
A/B 테스트는 과학적 실험이므로 반드시 수치로 검증할 수 있어야 함
- 성공 지표
CTR(클릭률), CPC(클릭당 비용), CVR(전환율), CPA(전환당 비용), ROAS(광고수익률), 구매 수/장바구니 담기, 회원가입 완료율
→ 정확히 어떻게 계산하는지까지 명시하는 것이 좋음
- 기대효과
MDE란 "이 정도 변하면 비즈니스적으로 의미 있다"고 인정할 최소 변화량, 실험의 '현실성 있는 기준'
= MDE가 중요한 이유
너무 낮으면, 실제 효과를 높칠 수 있음
너무 높으면, 테스트 기간이 끝나지 않음

전략적 중요성
좋은 가설은 회사의 핵심 목표를 향해있음. 모든 테스트는 궁극적 비즈니스 지표에 기여해야 함. 가설의 예상되는 기여도와 중요성을 판단해서 우선순위 세워야 함.
- ICE Framework
A/B 테스트 우선순위 판단을 위한 실무 프레임워크
Impact(영향) : 성공했을 때 비즈니스에 미치는 영향 크기
Confidence : 성공 가능성에 대한 팀의 정성적 확신 정도
Ease : 개발/디자인/마케팅 등 실행 난이도
- ICE Score 계산
(Impact + Confidence + Ease) ÷ 3
→ ICE Score가 높을수록 가장 전략적으로 의미있는 가설

<나쁜 가설의 특징>
주관적이고 데이터 기반이 아닌 가설
데이터 기반이 아니며, 개인 취향에 의존함. 실제로 테스트할 필요가 없음

중복/광범위한 가설
MVT(다변수 테스트)가 존재, 일반적으로 트래픽 부족으로 활용하기 어려움

지표가 모호한 가설
무엇이 성공인지 판단 자체가 불가능하여 실험이 무용지물이 됨

가드레일 지표
A/B 테스트는 주 KPI만 상승하면 되는 것이 아님. 수익성, 고객 경험, 장기 성과 등에 부정적 영향을 주지 않는지 감시하는 지표

<예시>
장바구니 담기 비율 증가 - 주문 취소율/결제 완료율/평균 주문 금액
모니터링 이유 : 클릭은 늘었지만 구매 의도는 떨어질 수 있음
클릭률 증가 - 바운스 레이트/세션 지속 시간/실제 전환율
모니터링 이유 : 허위 클릭이나 기대 불일치 가능성

<가드레일 지표 설정 원칙>
주 KPI와 연관성이 높은 지표 선택
비즈니스에 직접적 영향을 미치는 지표 우선
너무 많이 설정하지 말고 3-5개 정도로 제한
실험 전에 미리 악화 허용 범위 설정

 

2-4. 신뢰도 높은 A/B 테스트 설계

실험 기획 프로세스
문제 인식 - 문제 분석 - 가설 수립 - 우선순위 결정 - 실험 설계

문제 발견
데이터나 유저 인터뷰에서 "현재 무엇이 문제인지" 발견하는 단계
ex) 구매 CVR이 지난달 대비 20% 감소 / 장바구니 담기율이 경쟁사 대비 현저히 낮음
핵심 : 문제가 분명해야 실험 방향이 정확해짐

문제 분석 및 정의
발견된 문제를 정성·정량 데이터로 구조화하고, 문제가 발생한 지점(퍼널 단계)을 명확히 함
ex) 첫 스크롤 유지율 31% → 24% 하락 / 특정 이미지 소재에서만 CTR 지나치게 낮음
중요 : 이 과정에서 문제의 근본 원인과 영향 범위가 명확해져야 함

해결을 위한 가설 정의
이전 수업에서 배운 가설 템플릿을 활용하여 측정 가능한 가설 수립
- 가설 템플릿
만약 [독립변수 A]를 [독립변수 B]로 변경하면, [종속변수]가 [기대효과(MDE)%] 개선될 것입니다.
- 가설 구성 요소
독립변수 : 변경할 구체적 요소
종속변수 : 측정할 성과 지표
기대효과 : 비즈니스적으로 의미 있는 최소 개선 수치

실험 우선순위 결정
아이디어는 많지만 리소스는 제한적이므로, 어떤 실험을 먼저 진행할지 정량적 기준으로 우선순위 결정. ICE Framework 활용

실험 설계
모든 실험은 아래 5요소가 완벽하게 정의되어야 함. 하나라도 누락되면 실험 결과는 "판단 불가 또는 위험"
- 설계 요소
Success Metric : 주요 성공 지표
MDE : 최소 효과 기준
Guardrail Metric : 부작용 방지 지표
Sample Size : 필요한 최소 표본 수
Duration : 실험 기간

ICE Framework
Sean Ellis가 개발한 우선순위 프레임워크

ICE Score = Impact × Confidence × Ease (각 항목 1-10점 평가)

- 요소
Impact(영향력) : 실험이 성공할 경우 비즈니스 목표에 미치는 긍정 효과
Confidence(확신) : 실험 성공에 대한 팀의 정성적·정량적 확신
Ease(용이성) : 개발/디자인/마케팅 등 실행에 필요한 리소스 비용

- 주의사항
팀 전체가 함께 점수를 매겨 주관적 편향을 줄임
점수 기준을 사전에 명확히 정의하고 일관성을 유지
정기적으로 기준을 업데이트하여 조직 성숙도 반영
ICE는 도구일 뿐, 최종 의사결정은 비즈니스 상황을 종합적으로 고려

테스트 기간 설정 기준
샘플 충분 ≠ 시간 충분

최소 러닝타임
최소 1주 - 절대적 최소 기준
보통 10~14일 - 일반적 권장사항
대규모 테스트 2~3주 - 복잡한 실험의 경우

1. 샘플 충분과 시간 충분은 별개의 문제
2. Primacy Effect와 Novelty Effect
- 사용자 심리 효과 이해
초두 효과 : 기존 버전에 익숙한 사용자들이 초반에 더 안정적인 행동을 보임
신기 효과 : 새로운 버전이 신선함으로 인해 초반에 과대 성과를 보임

요일 편차
- 요일별 사용자 행동 패턴
평일 + 주말 모두 포함
월요일 - 구매 의욕 상승, 새로운 시작 / 전환율, 가입률 상승
화~목요일 - 안정적 탐색, 비교검토 / 세션 시간 상승
금요일 - 주말 준비, 충동구매 / 장바구니 담기 증가
주말 - 여유로운 탐색, 가족 구매 / 세션당 페이지 뷰 증가

계절성 및 외부 변수 고려
국가 공휴일, 쇼핑 시즌, 날씨 급변, 업계 이벤트, 사회적 이슈 등 피하는 것으 좋음

샘플 사이즈의 중요성
샘플 사이즈는 A/B 테스트의 정확도와 신뢰도를 결정하는 핵심 요소

<필요 표본 수를 결정하는 4가지 핵심 요소>
Baseline Conversion Rate : 현재 전환율 / 과거 데이터를 통해 정확히 측정
MDE : 최소 감지 효과 / 비즈니스적으로 의미 있는 최소 개선량
신뢰수준 : Confidence Level / 보통 95%
검정력 : Statistical Power / 보통 80%

1. 신뢰수준 : 우연인데 진짜라고 착각할 확률 = 가짜 허용❌
→ 신뢰수준 95%란, "이 결과가 95%는 진짜고, 운일 확률은 5%밖에 안 돼"라고 확신할 수 있는 기준
2. 검정력 : 진짜 효과가 있는데도 못 알아보고 놓칠 확률 = 진짜를 찾겠다!
→ 검정력 80%란, "진짜 대박인 안이라면, 10번 중 8번은 반드시 '성공'이라고 데이터를 띄워주겠다"는 약속

샘플 사이즈의 함정
Underpowered Test의 위험성 = 샘플이 너무 적으면 발생하는 문제들
유의미한 차이를 발견할 검정력 부족
- 2종 오류 증가 : 실제로 효과가 있어도 "효과 없음"으로 잘못 판단
- 결론 도출 불가 : 테스트 결과를 "판단 불가"로 처리해야 함
- 리소스 낭비 : 시간과 예산을 투입했지만 아무것도 배우지 못함
- 의사결정 지연 : 추가 실험이 필요해 제품 개선이 늦어짐

 

2-5. A/B 테스트를 위한 통계 이야기

통계적 유의성
이 차이가 우연이 아닐 확률이 충분히 높다 = 우리가 관찰하는 '성과 차이'가 단순한 우연이 아니라 독립변수의 변화로 인해 실제 발생한 개선이라는 통계적 증거 제공

유의성 있는 결과 : 우연일 가능성이 낮음 (보통 5% 이하) / 신뢰할 만한 결과로 판단
유의성 없는 결과 : 우연일 가능성이 높음 / 판정 불가, 추가 실험 필요
→ A/B 테스트에서 "통계적으로 유의하다"라고 하는 것은 단순한 우연이라고 생각되지 않을 정도로 의미가 있다는 뜻

P-value
"이 결과가 우연일 확률" 
= 운이 좋아서 이런 결과가 나올 확률이 얼마나 되는지?
P-value는 귀무가설이 사실이라는 가정 하에, 현재 우리가 관찰한 실험 결과만큼 극단적인 값이 우연히 관찰될 확률

P-value 해석 기준: 값이 낮을수록 신뢰도 높음

p = 0.5~0.1 : 판정 불가
p< 0.05 우연일 확률이 5% 이하 / 통계적으로 유의미
p < 0.01 : 매우 강한 증거 / 높은 확신

유의 수준
실제로는 차이가 없는데 차이가 있다고 잘못 결론 내릴 확률
보통 5% 이하로 설정하는 것이 일반적임

90% 신뢰 수준 : 탐색적 실험
빠르게 방향을 잡고 싶을 때

95% 신뢰 수준 : 일반적인 비즈니스 결정
대부분 A/B 테스트에서 사용

99% 신뢰 수준 : 매우 중요한 결정

신뢰 구간은 새로운 방법이 기존 방법보다 얼마나 더 나은지 보여주는 범위
신뢰 구간이 0을 포함하지 않는다면, 통계적으로 유의미한 차이가 있다고 해석 가능

<실무 의사결정 4단계 체크리스트>
1. P-value 확인하기
p < 0.05 인가요? → ✅ 통계적으로 유의미해요!
p ≥ 0.05 인가요? → ⚠️ 아직 판단하기 어려워요

2. 효과 크기 확인하기
CTR이 1.0%에서 1.1%로 증가 → ⚠️ 통계적으론 유의하지만 실무적으론 의미 없어요
CTR이 1.0%에서 1.3%로 증가 → ✅ 의미 있는 개선이에요!

3. 가드레일 지표 확인
CTR은 올랐는데 구매율은 떨어졌나요? → ⚠️ 주의해야 해요
모든 지표가 개선되었나요? → ✅ 완벽한 승리!

4. 종합 판단하기
모든 조건을 만족하나요? → ✅ B안 적용하세요!
하나라도 문제가 있나요? → ⚠️ 더 분석하거나 재실험 고려

 

3-1. A/B 테스트 기획서 작성

A/B 테스트 프로세스
문제 발견 - 문제 정의 - 가설 & 기획서 작성 - 실험 설계 & 실행 - 결과 분석 - 서비스 개선

1. 문제 발견
데이터 포인트 분석, 퍼널 분석, 사용자 피드백을 통해 개선이 필요한 지점 발견
CTR이 업계 평균 낮음
특정 퍼널 구간의 전환율이 떨어짐
특정 세그먼트에서 성과가 이탈함
사용자 인터뷰에서 UX 문제가 언급됨

2. 문제 정의
발견된 문제를 구체적이고 측정 가능한 형태로 정의

3. 실험 가설 & 기획서 작성
가설 구성 → A/B 구조 설계 → KPI 정의 → 기간/예산 확정

4. 실험 설계 및 실행
메타/구글 광고 등 플랫폼에서 실제 실험 설정 및 실행

5. 실험 결과 분석
데이터 수집 → 통계적 분석 → 승자/무승부/패배 판단 수행

6. 서비스 개선 및 후속 실험
결과에 따라 스케일업/폐기/후속 실험 계획

<기획서 체크리스트>
문제 인식이 명확한가? (데이터 기반인가?)
가설이 측정 가능한가? (수체적 수치 포함)
독립변수가 1개로 정리되었는가? (단변수 원칙)
KPI와 가드레일이 명확한가?
타겟, 기간, 예산이 실험 조건으로서 타당한가?
사용자 분배 방식이 공정한가? (랜덤화)
예상 결과가 비즈니스 목표와 연결되는가?

<기획서 핵심 구성 요소>
테스트 목적 및 문제 정의
왜 이 실험을 해야 하는가? / 어떤 문제를 해결하는 실험인가?
- 데이터 기반 문제 발견 사례들
퍼널 분석, 세그먼트 분석, 경쟁 분석, 사용자 피드백, A/B 플랫폼 알림

가설 수립
"만약 [독립변수 A]를 [독립변수 B]로 변경하면, [종속변수]가 [MDE %] 개선될 것입니다."
명확성 : 독립변수와 종속변수가 구체적으로 정의됨
측정 가능성 : 성공 기준이 구체적 수치로 표현됨
단변수 원칙 : 한 번에 하나의 요소만 변경

테스트안(A/B) 및 변경 내용
단변수 테스트 원칙
A/B 테스트에서는 반드시 하나의 독립변수만 변경
광고명, 이미지, 헤드라인, CTA, 랜딩 URL, 타겟팅, 예산

측정 치표(KPI) 설정
KPI 3단계 구조
Primary KPI : 실험 목적을 직접 측정하는 지표 / CTR(클릭률)
Secondary KPI : 부가적 효과를 확인하는 지표 / CPC, 구매 CVR
Guardrail Metrics : 부작용 방지를 위한 보호 지표 / CPA, ROAS

타겟 조건
지역, 성별, 연령, 관심사, 캠페인 유형, Placement, 분배 단위

예산 및 기간
테스트 기간 설정 원칙
최소 7일 이상 : 평일과 주말을 모두 포함하여 요일별 편차 제거
충분한 샘플 사이즈 : 통계적 유의성 확보를 위한 최소 트래픽 확보
외부 변수 고려 : 특별한 이벤트, 공휴일, 경쟁사 프로모션 피하기
학습 기간 포함 : 알고리즘 학습을 위한 초기 2-3일 고려

사용자 분배 방식
랜덤화의 중요성
공정한 A/B 테스트를 위해서는 사용자가 무작위로 A안 또는 B안에 배정되어야 함. 

 

3-2. A/B 테스트 방법 소개

<Meta Ads - A/B 테스트 내장 기능>
Meta 실험 기능
실험 → 테스트 만들기 → A/B테스트 시작하기
설정 가능 : 실험 이름, 비교할 캠페인/광고세트 선택, 비교 대상(변수), 최적화 이벤트, 예산 분배, 통계적 유의성 계산

Meta A/B 테스트 좋은 이유
1. 랜덤 분할 자동
유저 단위 무작위 분배, A/B 그룹이 완전히 동일한 특성 유지, Hash 기반 분할

2. 예산 균등 배분 자동
50:50 설정 시, 공정한 경쟁 환경, 실시간 조정

3. 통제 환경 제공
Placement 고정, 타겟팅 조건 동일, 디바이스 조건 동일

4. 통계적 유의성 계산 기능 제공
Meta 내부 계산, 권장 기간 제시, 신뢰도 수준

Meta에서 할 수 있는 대표 실험 유형
크리에이티브 테스트 - 광고 레벨 : 이미지 A vs B, 카피 A vs B / CTR 개선, 브랜드 인지 향상
오디언스 테스트 - 광고세트 레벨 : 타겟 A vs 타겟 B / 새로운 고객층 발굴, 타겟 확장
캠페인 구조 테스트 - 캠페인 레벨 : Advantage + 사용 여부 비교 / 자동화 vs 수동 최적화 성과 비교
랜딩 페이지 테스트 - UTM 기반 : 웹/앱 랜딩 버전 비교 / 전환율 개선, UX 최적화

Meta 실험 사용 시 주의사항
1. A/B 테스트 도중 구조 변경 금지
광고 문구/타겟/지면 변경 시 실험 무효
실험 진행 중 캠페인 설정 변경하면 이전 데이터 신뢰성 손상
긴급한 수정이 필요하면 실험 종료 후 새로 시작 권장
예산 조정은 가능하지만 비율 유지 필수

2. Learning Phase
초기 2~3일은 효율 불안정 → 최소 7일 권장
Meta 알고리즘이 타겟팅과 입찰을 학습하는 초기 기간
이 기간 중에는 성과가 불안정하므로 성급한 판단 금지
일주일 이상 진행해야 안정적인 패턴 확인 가능

3. 일부 실험은 Meta Experiments보다 '수동 실험'이 더 정확
다음 상황에서는 수동 설계 권장
Landing Page Test : 웹사이트 A/B 테스트 도구와 연동
복수 독립변수 : Meta는 단일 변수만 지원
타 플랫폼 연동 : 카카오/TikTok과 동시 테스트 필요 시
세밀한 통제 : 더 정교한 실험 조건 설정 필요

<Google Ads - Experiment 기능>
Google 실험 기능
캠페인 → 실험 → 실험 만들기
기능 구성 요소
원본 캠페인 선택, 실험 옵션 선택, 수정할 변수 설정, Performance Comparison 리포트

Google 실험의 강점과 주의점
- 고유 장점
검색 쿼리 기반 테스트, 랜딩 페이지 실험에 탁월, 시즌성·시간대·기기 분석
- 주의사항
캠페인 구조 수정 시 실험 초기화, 자동 입찰 전략과의 조합, 학습 기간 고려, 시즌성 민감도

<수동 실험이 필요한 경우들>
크리에이티브 세부 버전 테스트
플랫폼 혼합 실험
브랜드 세그먼트 실험
GA4 기반 온사이트 실험

수동 A/B 테스트 설계 핵심 원칙
1. 동일 조건 유지 (통제변수 유지)
통제변수들
타겟, Placement, 최적화, 기간, 랜딩, 예산 분배 동일

2. A/B 예산 완전 균등 분배
- 주의사항
A/B 광고세트 각각 "예산 고정" : 자동 예산 배분 OFF
50:50 유지 필수 : 한쪽이 더 많은 기회를 가지면 불공정
Adcantage+ / 자동예산 OFF : 알고리즘이 성과 좋은 쪽에 더 많이 배분하는 것 방지

3. 랜덤 분할 설계
- 중요한 부분
광고세트 2개 생성 → 동일 타겟 적용
방법: A세트에는 이미지A, B세트에는 이미지B 설정
장점: 간단하고 직관적, 플랫폼 내에서 완결
단점: 사용자 중복 노출 가능성 있음
적합한 경우: 간단한 크리에이티브 테스트
UTM 랜딩 기반 분할
분석: GA4에서 A/B 비교 가능
장점: 랜딩페이지 테스트에 최적화
단점: UTM 관리 복잡성

실험 방법 선택 의사결정 프로세스
1단계 : 실험 유형 파악
크리에이티브/오디언스 테스트? → Meta Experiments 사용
검색광고? 입찰전략 테스트? → Google Experiment 사용
랜딩페이지? 플랫폼 혼합? → 수동 설계 필요
2단계 : 복잡도 평가
단순한 A vs B? → 내장 기능 우선
복잡한 조건/분석? → 수동 설계 고려
3단계 : 리소스 고려
빠른 실행 필요? → 내장 기능
정교한 분석 필요? → 수동 설계

 

3-3. A/B 테스트 리포트 분석 및 결론 도출

EXP001 완전 데이터 분석 프로세스
1. 기본 데이터 수집 및 정리
2. 핵심 지표 계산
3. 개선율 및 차이 분석
4. 통계적 유의성 검증
5. 가드레일 지표 점검
6. MDE 달성 여부 확인
7. 최종 결론 도출
통계적 유의성 ≠ 실질적 의미
- 주의해야 할 상황들
통계적으로는 유의하지만: 개선율이 MDE에 못 미치는 경우
샘플 사이즈가 너무 클 때: 미미한 차이도 통계적으로 유의하게 나옴
비즈니스 맥락 무시: 숫자만 보고 판단하는 경우
부작용 간과: 주 지표는 개선되었지만 부작용 지표가 악화된 경우

<승자/무승부/패배 시나리오 해석>
승자 시나리오
- 승자 판별 기준
통계적 유의성 p-value < 0.05
실질적 의미 : MDE 달성
가드레일 안전 : 부작용 지표 악화 없음
일관성 : 실험 기간 전반에 걸쳐 안정적 패턴
- 승자 확정 시 3단계 스케일업
1단계 : 전체 배포
2단계 : 타 채널 확장
3단계 : 추가 최적화

무승부 시나리오
- 무승부 판정 기준
통계적 비유의 : p-value > 0.05
OR 미미한 차이 : 개선율 MDE에 못 미침
OR 혼재된 결과 : 일부 지표는 개선, 일부는 악화
- 무승부 시 대응 전략
1. 세그먼트 분석 실시
2. 가설 재검토
3. 새로운 실험 설계

패배 시나리오
- 패배에서 얻는 인사이트
왜 실패했는지 정확히 분석
- 패배 시나리오 분석 프레임워크
1단계 : 실패 유형 분류
2단계 : 원인 분석
3단계 : 학습 도출
- 패배에서 성공으로 : 후속 실험 설계
반대 방향 실험, 단계적 실험, 타겟 변경 실험, 맥락 변경 실험

세그먼트 분석
마케팅 전략의 정교화와 타겟팅 최적화에 핵심적인 인사이트 제공

<세그먼트 분석 실전 가이드>
연령/ 성별 세그먼트
라이프스타일, 구매력, 미디어 소비 패턴 차이
세대별 브랜드 인식과 커뮤니케이션 방식 선호도

디바이스 세그먼트
모바일 vs 데스크톱 사용자 행동 패턴
화면 크기에 따른 크리에이티브 효과성

시간대/요일 세그먼트
출퇴근 시간, 점심시간, 저녁시간별 반응 차이
주중 vs 주말 사용자 특성 차이

지역 세그먼트
수도권 vs 지방, 도시 vs 농촌 선호도 차이
지역별 경제력과 소비 패턴 차이

구매 이력 세그먼트
신규 vs 재구매 고객 반응 차이
구매 금액대별 메시지 선호도