A/B test

A/B 테스트

• 새로운 템플릿, 기능, 상품의 유효성과 새로운 알고리즘, 모델의 성능을 검증하거나, 새로운 디자인에 대한 사용자들의 피드백을 얻고 업데이트가 사용자 경험에 어떤 영향을 끼치는지를 테스트하는 방법
• 머신러닝에서 A/B 테스트 = 모델의 최종 효과를 검증하는 최종 수단
  
  

온라인에서 A/B 테스트를 해야하는 이유

• 오프라인 평가로는 모델의 과적합 위험을 모두 제거할 수 없으므로 오프라인 평가 결과는 온라인 평가 결과를 완전히 대체 불가능
• 오프라인 평가 환경은 온라인 평가 환경과 다름 = 일반적으로 온라인 환경에서 일어나는 지연, 데이터 손실, 레이블 손실 등과 같은 상황을 반영하기 어려움
• 온라인 시스템의 일부 비즈니스 지표는 오프라인에서 평가하기가 어려움
  • 새로운 추천 알고리즘을 도입할 때 오프라인 평가에서 ROC 곡선, P-R곡선 등의 개선 여부를 확인
  • 온라인 모델에서 해당 추천 알고리즘의 사용자 클릭률, 체류 시간, PV 방문량 등의 변화에 주는 영향을 확인
    
    

A/B 테스트 진행 방법

• 사용자를 실험군과 대조군으로 분류하고 실험군 사용자에게는 새로운 모델을, 대조군 사용자에게는 기존 모델을 사용 = 분할-실행(버킷 테스트)
• 버킷 형성 과정에서 샘플의 독립성과 샘플 방식의 무편향성에 각별한 주의를 기울이고 동일한 사용자가 하나의 버킷으로만 갈 수 있도록 해야함
• user_id를 랜덤으로 정해야 샘플의 무편향성을 유지할 수 있음
  e.g 모든 미국 사용자를 user_id에 기반해 실험군과 대조군으로 나누고 모델 A와 B를 적용 => 모델 A의 효과를 검증

---

★ 더 많은 내용 보러가기 click click! ★