[Note] 실험이 주도하는 제품 개발

OUTPUT이 아닌 OUTCOME

 

# The Effects of Hierachy on learning and Performance in Online Experimentation (원문)

- 시니어들은 제품 실험에 어떤 영향을 미치는가? 

- 직급이 올라갈 수록 실험이 성공할 가능성(가정이 검증될 가능성)은 증가하지만, 실험 결과를 통한 효과, 향상폭은 더 적다는 결론  

- 유저의 반응을 이끌어내는 적합한 형태는 무엇인지를 한번 더 생각하자(+A/B test)

➔ 결론적으로, 실험이란 결국 유저/고객/소비자에게서 시작하고, 평가되어야 할 것이다. 

 

# 실험이 적합한 문제와 적합하지 않은 문제가 있다.  제품 pivot이 필요한 경우, 신규 타겟 페르소나가 필요한 경우에는 실험이 적합하지 않다.  

 

# 실험의 제약 상황 : 이를테면 제품의 early stage, 즉 Product Market Fit을 찾기 전에는 실험이 제약될 것이다. 또한 빠른 대응이 필요한 경우에는 실험을 통한 단계적 접근이 불가할 것이며, 어떤 경우에는 실험을 거치기 전 선출시 해야할 수도 있다.  

 

# 실험 결과를 분석할 때엔 의도대로 행동한 고객군과 그렇지 않은 고객군을 비교해보자 

 

# A/B 테스트의 연속과 다변수 테스트의 비교 : A/B 테스트를 연속하는 것(즉, A, B, C안을 테스트하고자 한다면 A, B안으로 테스트를 먼저 진행한 후 Best안과 C안을 테스트)이 이전의 결과를 반영할 수 있어서 효과적일 수 있다. 물론 이 경우에는 실험 기간이 길어지는 등 또다른 고려사항이 생긴다. 

➔ 이전에는 다변수 테스트를 주로 했었는데, 그 목적에는 A/B 테스트를 연속하는 방식이 보다 적합했겠다는 생각이 든다. 물론 프로젝트라는 한계가 있지만. 

 

# 실험 절차 :  실험 배경 / 가설 / 실험 목적 / 비즈니스 목적 / 실험 설계 (타겟/기간/필요모수) /실험 성공 측정 지표 / 실험 결과 / 회고 / 사후 처리 

➔ 그동안 실험을 먼저 설계하고 나서 문서를 쓰지 않았는지 되짚어보자.  

 

# 실험 지표 : 다방면 측정이 필요함 

- 주요 지표 : 직접적으로 영향을 미치는 지표 

- 보조 지표  : 간접 영향 지표 

- 반대 지표 : 다른 중요한 부분에 악영향을 끼치는지 ? 

- 전체 평가 기준 : OMTM으로 정한 지표, kpi 가중치의 합 등 복합 지표 

- primary metric이 향상되었어도 전체 평가 기준에 대한 영향이 작다면 상관성 높은 지표를 다시 고민해봐야한다 

*NSM : North Star Metric - 장기적으로 회사의 성공을 예측해볼 수 있는 지표. OMTM과 동의어로 보일 수 있으나, OMTM이 현재 시점의 지표라면 NSM은 장기적 관점에서의 지표로, 모든 팀이 공통의 목표로 가져야 할 지표이기도 하다.  

*OMTM : One Metric That Matters, 특정 시점에 꼭 집중해야 하는 지표. (참고. https://brunch.co.kr/@leoyang99/1)

 

 

# 결과분석의 2가지 접근 방식

1. 빈도주의자 방식

- p-value / Type1 Type2 에러 / 검정력  등 통계 개념으로, 차이가 있는지는 판단할 수 있지만 얼마나 있는지에 대한 답은 할 수 없다. 

2. 베이지안

- "얼마나 나은지"

- 구글 firebase는 전체 대안 중에서 가장 우수할 확률, 원안보다 대안의 실적이 우수할 확률 등의 지표를 제시해준다 

 

# 본페로니 교정 : 검증해야 할 가설들이 늘어나면 귀무가설이 기각될 확률은 작더라도 기각될 가능성이 증가한다.즉 가설이 많아질 수록 그 중 하나는 유의미할 수 있다. 따라서 p-value를 엄격하게 적용한다.(제 1종 오류의 발생 가능성 보정) 방문자별 세그멘테이션 결과를 분석할 경우, 세그먼트가 늘어나기 때문에 세그멘테이션 결과가 통계적으로 유의한지를 판단할 때에 본페로니 교정이 필요할 수 있다. 

 

---

0724 Wanted Con. 데이터팀은 어떻게 일할까?