Review_유저가 좋은 작품(웹툰)를 만났을 때
https://tv.naver.com/v/16968269
Deview_유저가 좋은 작품(웹툰)를 만났을 때 세션을 보고 작성하였습니다. 좋은 콘텐츠를 제공해주신 네이버 그리고 연사님에게 감사드립니다.
추천 시스템의 목적
사용자가 좋아할만한 아이템을 추천해 주는 것
소비자와 공급자 관점에서 추천 시스템의 목적
추천으로 유명한 회사들 각각의 목표는?
Netflix
; Member satifaction and retention
Spotify
; Match fans and artist, Enjoy listening
Youtube
; Keep User Entertained and Engaged
--> 소비자 관점의 추천을 목표로 함.
픽코마(웹툰) 추천 시스템
background ; 픽코마 UX 전반에 걸쳐 개인화 추천 활용되고 있음.
소비자 관점의 추천 시스템 목표 | 공급자 관점의 추천 시스템 목표를 늘리고자 함
여기에서
" 소비자 관점 = 사용자 만족도와 리텐션 "
" 공급자 관점 = 매출 늘리기 "
를 의미함.
픽코마 퍼널 정의
* HCI에서 수강했던 페르소나 탐색과 비슷하게 첫 진입(사용자 만족도 낮음)부터 자주 방문(사용자 만족도 높음)까지의 여정
Short-Term 선호도
현실적으로 많은 추천 시스템이 Short-Term 목표지표를 선택 ( CTR , long-CTRs , dwell time , take-rate )
Long-Term 선호도
--> 추천 시스템의 목표 , 여기까지 사용자를 많이 남기는 것이 고객 관점에서의 추천 시스템 목적!
어렵다 왜?!
추천하는 시점과 피드백까지의 gap 이 너무 길다.
Problem ; Short-Term에서 Long-Term과 Casual relationship indicator을 추려내 보자?!
--> 사용자 리텐션(열람일 수)이 낮은 집단과 높은 집단의 지표 탐색
How?
픽코마 사용자를 랜덤 샘플링하여 균등(2%)하게 열람 일수(days)로 Segementation 하여 탐색하였음.
Result!
자주 방문할수록 ~
ㄱ. 한 달 열람수는 높게 증가함.
ㄴ. 고 활성 유저가 되기 전까지는 하루 열람수는 일정함.
ㄷ. 일일 작품당 열람 에피소드 수도 감소 & 수렴함.
ㄹ. 하루 열람 작품수 증가함.
ㅁ. Unique 열람 작품수도 증가함.
* Visualization 하여 목표 indicator 인 "열람일 수(Day)"와 분포가 비슷한 feature을 살펴보니 "일일 열람 작품수(Unique)"와 "전체 열람 작품수(Unique)"가 상관관계가 깊다는 것을 확인할 수 있었음.
* 요약
- 일일 열람수와 작품당 열람수는 리텐션과 상관없이 일정함.
- 자주 방문하도록 하는 '리텐션'을 높이기 위해서는 전체 열람수보다는 '사용자의 선호 작품 수'를 늘려야 함.
그렇다면 '사용자의 선호 작품 수'를 어떻게 늘릴 것인가?
사용자의 Engagement Life Cycle 패턴을 분석하여 어떤 사정에 의해 이탈하는지에 대해 고민해보기.
--> 사용자의 월별 열람 이력으로 군집화 후 활성 사용자의 작품 탐색과 발견을 분석함.
--> User Grouping 이 됨. (사용자 군집화)
* 용어 정의
Exploration ; 1,2 화만 열람한 작품을 의미 즉 , 맛만 보는 것
Exploitation ; 1,2 화 열람 이후 관심이 생겨 돈을 지불하여 지속적으로 작품을 이용
분석 관점
열람 감소할 때 Exploration 작품 수는 어떻게 변화하는가?
열람 증가할 때 Exploration 작품 수는 어떻게 변화하는가?
-> 즉 사용자의 탐색적 활동과 Long Term 선호도 관계를 탐색하고자 함.
사용자는 얼마나 탐색하는가?
한 달을 기준으로 열람 작품 수를 확인한 결과 26개 중 대략 4.7 즉 5개가량 Exploration 한다는 것을 확인하였음
--> Exploration Rate = 0.18
사용자 군집화 결과
Engagement 유지 ; 월평균 작품수가 일정한 집단
Engagement 감소 ; 열람 작품수가 감소 후 이탈 집단
Engagement 증가 ; 열람 작품수가 감소 후 이탈 집단
Exploration Rate에 정리하자면.
Exploration Rate을 유지 -> 작품 열람을 유지하거나 작품 열람을 증가 시킴.
Exploration Rate을 감소 -> 1. 좋은 작품을 발견할 수 없다는 경험을 얻음. 2. 현재 열람하는 작품만 보다가 이탈함.
Exploration Rate을 유지할 때
- 높게 유지하면 높은 열람 수를 유지/상승함.
- 중간 유지하면 중간 열람 수를 유지/상승함.
- 낮게 유지하면 낮은 열람 수를 유지/상승함.
Exploration Rate이 높다 -> 작품 탐색에 만족 -> 열람 작품 늘어남 -> 서비스에 만족
군집화한 유저들 중 신규 유저 / 중급 유저로 grouping 하여 이탈 / 열람에 대한 case 분석하였음.
결론
좋은 Exploration 경험은 유저를 만족시킨다.
* 여기서 Exploration 은 1,2, 화만 열람한 것. 즉 , 맛보기
Exploration Rate를 유지한다는 것은 -> 탐색을 통해 작품 발견
- 유저가 작품 탐색에 대한 만족을 함.
- 유저의 만족은 탐색의 결과로써 관심 작품을 잘 발견했다는 것임.
- 그래서 관심 작품이 늘어난다면 열람수가 증가됨.
Exploration Rate이 감소한다는 것은 -> 탐색 후 좋은 작품을 발견하지 못한 것
- 유저가 작품 탐색을 하고 만족을 못했다는 것이다.
- 그래서 작품 탐색을 하지 않는다.
- 관심 작품이 늘지 않아서 열람수가 감소하고 이탈함.
탐색을 통한 발견 즉 좋은 Exploration 경험을 주는 것은 매우 중요함.
그래서 좋은 Exploration 경험을 위해서는 좋은 추천 시스템이 필수적임.
RECAP & REVIEW
1. 목표 정의 ; 소비자 관점 / 공급자 관점의 중간 지점 찾기
2. Short-term 지표로부터 Long-term tracking!
3. Segementation ; Tracking 한 결과로부터 unsupervied learning 하여 패턴을 분석함.
* 이때 도출된 지표는 Exploration / Exploitation 임
4. Engagement를 확인함 ( Exploration Rate를 근거 )
정확히는 x ; month-idx , y ; Exploration Rate or Exploitation Rate를 그래프화 함.
-> 결론적으로 신규 / 중급 / 고급 / 로열 사용자 군으로 분류함 ( Exploration Rate를 근거로 )
5. Engagement 유지 감소를 통해 드러난 패턴으로 어떤 것이 유저를 이탈 / 유지 / 상승시키는가에 대해 해석을 해봄.
6. 결론 ; 좋은 Exploration 경험은 유저를 만족시킨다.
/divide
1. 소비자 관점 / 공급자 관점
2. Funnel 관점[페르소나 지도?]
3. 사용자 선호 작품수를 어떻게 늘리면 좋을까?
4. Exploration이라는 지표를 도출하여 이를 토대로 고객 이탈을 예측하고자 함.
분석을 용이하게 하기 위하여 열람 시에 첫 1, 2 화는 무료로 개방하며 이후 작품을 열람하기 위해서는 사용자가 과금? 혹은 의도적으로 open을 해야 하는 장치를 두었음. 이때 Exploration / Exploitation
5. 좋은 가설을 설립하기 위해 다양한 관점에서 바라보며 그 관점이 도출되기까지의 EDA 과정이 너무나도 중요하다.
6. 추천 시스템은 그 해당 서비스에 대한 만족과 상당한 상관관계를 지니며 최종적으로 그 플랫폼까지 영향을 미침.