안녕하세요 NF 주인장입니다. 

오늘 하루도 평안하셨는지요. 

날씨가 많이 추워졌네요. 벌써 한 해가 다 지나간 것이 피부로 느껴져요. 

 

저는 지난 토요일에 기존에 존재하는 서비스를 분석하고 개선점을 도출하고, AB테스트까지 설계하는 과제를 진행했어요.
(광고 아님, 광고 환영, 채용 환영)

어떤 기업인데?

https://www.sooldamhwa.com/

 

집 앞으로 찾아오는 전통주 - 술담화

전통주 소믈리에가 큐레이션한 다양한 술을 만나보세요

www.sooldamhwa.com

저는 전통주 판매 및 정기 배송 서비스를 제공하는 담화 컴퍼니(이하 술담화)라는 기업에 대해 알아보았어요. 

그 기업은 뭘 하는덴데? 

술담화는 큐레이션 서비스 기반의 전통주 온라인 쇼핑몰이에요. 

매 달 전통주 소믈리에가 고심해서 다양한 전통주를 맛볼 수 있게 구독 서비스를 제공하고 있어요.

또한 소비자 맞춤형 전통주 추천 시스템도 제공해요. 

고객의 JTBD (Job To Be Done)은 무엇이고 어떻게 해결해?

1. "전통주를 잘 모르더라도 나의 취향에 맞는 전통주를 쉽게 찾고 구매하고 싶어요."

현재 한국의 전통주는 2000개가 넘어요. 너무나도 많고 다양한 전통주를
매달 큐레이터가 직접 시음해보면서 고객들에게 제공될 전통주와 그 스토리를 구성해요. 

그를 통해 고객들은 전통주에 대해 잘 몰라도 쉽게 접할 수 있어요.  

 

2. "전통주를 합리적인 가격에 구매하고 싶어요."

구독 서비스로 제공하기에 고객들에게 평균 13%정도 싼 가격으로 전통주를 제공할 수 있어요. 

게다가 각 전통주를 개별 주문할 때보다 배송비도 아낄 수 있구요. 

거기서 어떤 기능에서 개선을 하고싶어?

저는 술담화에서 제공하는 구독 서비스를 개선하고 싶었어요. 

 

현재의 구독 서비스는 전통주를 아예 모르는 사람들에게는 정말 좋은 서비스일지는 몰라도, 

 

"자신의 취향을 알고있는" 고객들에게는 적합하지 않아요.

내가 어떤 취향을 좋아하는지 알더라도, 현재의 정기배송 시스템은 이를 반영할 수 없다는 한계점이 존재합니다.

 그렇기 때문에 저는 여기에 집중했어요! 

왓챠피디아의 예상 별점 기능

 

왓챠피디아에서 제공하는 "예상 별점" 시스템을 통해

고객들에게 개인화된 정기배송을 기존 구독 서비스와 더불어 같이 제공하면 

고객의 페인포인트를 개선할 수 있고, 그를 통해 매출 상승을 기대할 수 있다고 생각했어요. 

그것을 위해 필요한 기술은?

예상 별점을 계산하기 위한 알고리즘은 다양하지만, 
Latent Factor Model 을 통해 사용자의 예상 별점을 추정할 수 있을 것이라 생각했어요. 

 

Latent Factor Model을 간단히 설명하자면, 사용자와 아이템을 잠재적인 요소(Factor) 로 나타낼 수 있다고 보는 모델이에요.

 

그 요소가 무엇인지는 잘 모르지만(실제로 알 수 없어요), 사용자의 매핑지점과 아이템의 매핑지점이 가까울 수록 유사하다고 보는 모델이에요. 

 

기술에 대한 이야기는 다음 블로그를 통해서 확인하면 더 좋을 것 같아요. 

https://wooono.tistory.com/149

 

[추천시스템] Latent Factor Model

별점 예측 부분에서 Collaborative filtering보다 동작을 잘하는게 Latent Factor Model이다. 하지만 단점이 존재한다. Collaborative filtering은 근거를 댈 수 있지만 Latent Factor Model은 근거를 댈 수 없다. Latent Fact

wooono.tistory.com

AB테스트는 어떻게 설계할 예정? 

  • 가설
    사용자 리뷰 기반의 예상 별점 시스템과 이를 활용한 추천 큐레이션을 도입하면, 사용자의 구매 결정 과정을 개선하고 만족도를 높일 수 있을 것이다.
  • 테스트 기간
    8주 
  • 테스트 대상
    A그룹(대조군) : 현재 시스템 유지
    B그룹(실험군) : 새로운 예상 별점 및 추천 시스템 적용한 정기 배송 시스템 제공
    그룹당 최소 활성사용자 5000명 이상
  • 주요 측정 지표
    1. 신규 구독 수
    2. 구독 유지율
    3. 사용자 만족도 (NPS Score)
    4. 리뷰 작성률
  • 예상 성과
    1. 신규 구독 수 10% 증가
    2. 구독 유지율 기존 대비 20% 증가
    3. NPS Score 20점 상승
    4. 리뷰 작성률 30% 상승

뭘 배웠나?

내 발표로 배운 것

처음 사람들 앞에서 발표할 때는 정말 많이 떨었어요.

 

다들 너무나도 열심히 해 와서 혼자 대학생 과제 티를 못 벗어난 것 같았어요. 

 

헤헤헿 하면서 이런 아이디어는 어때요~?, 이런 디자인은 어떨까요~?! 하면서 들고가면 동료분들이 
명찬님~! 이거 대학생 과제 아니랬죠!! 하면서 우스갯소리를 하시는데 뜨끔뜨끔합니다. 

성장하면서 조금씩 대학생티는 벗어지겠죠?

 

어떤 아이디어든 이야기하자는 생각에 마구 쏟아내는 경향이 있어요.

물론 저는 그런 제 모습을 꽤나 좋아하구요. 

 

또 다른 사람들 앞에서 발표하는 것이 조금은 익숙해지고 있어요. 

그리고 내가 잘 알고있고 잘 준비한 내용에 대해서 이야기할 때 저는 자신감 있는 모습으로 이야기 할 수 있다고 생각했어요. 

 

다른 사람 발표로 배운 것

다른 사람들 발표를 들으면서 발표를 잘 한다. 라는 사람들에게서 느낀 공통점은

 

"발표의 플로우가 자연스럽다" 였어요. 

발료의 플로우가 자연스럽기 위해서 Top Down 방식으로 

발표 초반엔 산업 전체에 대한 정의 및 배경 지식을 설명하고, 

해당 기업 - 어떤 기능 - 세부 기능 등으로 점점 좁혀나가며 개선점을 도출하고 발표를 진행했어요.

 

그리고 당연한 이야기일지도 모르지만 A라는 질문에 A에 대한 답변을, 
B라는 질문에 B라는 답변을 (오답이더라도) 나름의 논리를 가지고 답변해요. 

 

일반적으로 A라는 질문에 A'에 대한 한 Depths 더 들어가거나 올라온 답변을 하는 경우가 종종 있는데, 
정확하게 A라는 문제 제기에서 A에 대한 해답을 내놓았어요.

 

추가로 받은 피드백에서는 이런 의견도 있었어요! 

발표 이후 받은 질문이 되게 많았어요, 
질문 중에서는 질문을 받았을 때 감정적으로 대응할 수도 있는 어느정도는 까칠한 질문도 있는데, 명찬님은 그런 질문에 대해서 감정적으로 대응하기 보다는 단단하게 본인의 중심을 가지고 묵직한 답변을 내놓는 모습이 인상적이었습니다.

 

과제 링크

https://docs.google.com/presentation/d/1zdG_FabKuNRhTzNwaSiwdApZGgQOnx14qAV9yf9jBbw/edit?usp=sharing

 

술담화_과제

전통주 플랫폼 담화 컴퍼니 김명찬

docs.google.com