린분석 : PART 1. 눈가리고 아웅하지 말기

린분석 : 스타트업이 지향해야 하는 목표를 추적하기 위해서 알아야 하는 지표에 관한 내용 

린분석을 읽고 정리한 내용입니다. 

 

CHAPTER 1. 우리는 모두 거짓말쟁이

직감은 영감을 준다. 직감은 중요하다. 단, 직감을 테스트할 필요는 있다. 직감이 실험이라면 데이터는 증거다.

제품이나 기능을 구현한 후에 효과를 측정하고 거기에서 교훈을 얻은 다음 더 좋은 제품을 구축할 수 있게 되었다.

경영학의 대가 피터 드러커는 “측정할 수 없는 것은 관리할 수 없다”라는 유명한 말을 남겼다.

CHAPTER 2. 다양한 지표

분석의 본질은 사업에서 매우 중요한 지표를 추적하는 것이다.

좋은 지표란 어떤 것인가

• 좋은 지표의 특징
  1. 좋은 지표는 상대적이다.지난 주보다 전환율이 증가했다’ 가 ‘전환율이 2%이다’ 보다 더 좋은 정보이다.
  2. : 시대별, 사용자 그룹별, 경쟁자별로 비교할 수 있으면 상황을 이해하는데 도움이된다.
  3. 좋은 지표는 이해하기 쉽다.
  4. : 사람들이 지표를 기억하고 그 지표에 대해 대화를 나눌 수 없다면 데이터의 변화를 현실의 변화로 옮기기 어렵다.
  5. 좋은 지표는 비율로 표현된다.
  6. : 비율은 행동에 반영하기 쉽다 / 비율은 비교의 속성이 있다. / 비율은 다소 대조적인 요소들이나 내재된 갈등이 있는 요소들을 비교하기 좋다.
  7. 좋은 지표는 행동 방식을 바꾼다. ⭐ 가장 중요한 지표 ⭐
• 올바른 지표를 선택하기 위해 염두해야할 5가지
  1. 정성적 지표와 정량적 지표
     정성적 지표들은 체계적인 실험이 아닌 관찰이나 경험에 바탕을 두며 실상을 보여주지만 비구조적이고 종합하기 힘들다. 정량적 지표는 숫자와 통계의 형태를 띠며 구체적인 수치를 제공하지만 정황 정보가 부족하다.
     정량적 데이터가 ‘무엇’과 ‘얼마나 많이’에 대한 답을 제공한다면 정성적 데이터는 ‘왜’에 대한 답을 제공한다.
  2. 허상지표와 실질지표
     : 허상 지표로 잠깐동안 기분이 좋을 수 있지만 행동을 바꿀 수 없다. 실질 지표는 행동 방침을 선택할때 도움을 줌으로써 행동을 바꾸게 한다.
     
     많은 사람들이 데이터 드라이븐으로 일한다고 하지만, 실행에 옮길 수 없는 데이터는 허상 지표이다.ex, 전체 가입자수 / 전체 활동사용자 수는 허상지표라고 볼 수 있으며 ‘활동사용자 비율’/ '특정 기간 동안 확보한 사용자 수' 은 흥미로운 실질 지표이다.
     
     데이터는 정보를 제공해주고 방향을 제시해주며 사업 모델을 개선시키고 행동방침을 결정하는데 도움이 되어야 한다. 어떤 지표를 볼 때마다 스스로에게 “ 이 정보로 내가 무엇을 할 수 있을까?” 를 물어보아라. 대답할 수 없다면 중요한 지표가 아니다. 그저 데이터의 늪에서 허우적대고 있을 뿐이다.
     
     💡 주의할 허상 지표 8가지
     
     1. 히트 수 : 히트 수 대신 사용자 수를 세야 한다.
     2. 페이지뷰 : 온라인 광고처럼 페이지뷰가 중요한 사업 모델이 아니라면 페이지 뷰 대신 사용자 수를 세야 한다.
     3. 방문 수 : 한사람이 백번 방문하는 경우와 백사람이 한번 방문하는 경우를 구분하지 못하기 때문에 좋은 지표가 아니다.
     4. 순수 방문자 수 : 홈페이지를 방문한 사람의 수를 알려줄 뿐, 이 방문자들이 웹사이트에서 무엇을 했는지 / 왜 이 웹사이트에 머무는 지 / 이 웹사이트를 떠나는지의 여부는 전혀 알려주지 않는다.
     5. 팔로어/친구/좋아요의 수
     6. 사이트에 머무른 시간/페이지 수 : 사업에 관련된 페이지가 아닌 전체 페이지에 대한 것 이며 좋은 지표가 아니다. ( 가령 불만을 토로하는 페이지에 오래 머문다면 ? )
     7. 수집된 이메일 주소
     8. 다운로드 횟수 : 실질적 가치로 이어지기 위해서는 활성화, 계정 생성 등 다른 것들을 측정해야한다.
  3. 탐색지표와 보고지표
     : 탐색 지표는 추론에 기반을 두고 있으며 유리한 고지를 차지할 수 있도록 아직 알려지지 않은 내용을 찾는데 목적이 있다. 보고지표는 정상적이고 이상적인 경영 상황을 빠짐없이 알 수 있도록 만드는데 목적이 있다.
     
     💡 도널드 럼즈펠드의 숨은 천재성
     1. 안다는 것을 아는것 : 사실이 여기에 해당. 틀릴 수 있기 때문에 데이터와 대조하면서 확인해야한다.
     2. 모른다는 것을 아는것 : 보고를 통해 답할 수 있는 질문은 여기에 해당한다. 기준을 정하고 자동화 해야한다.
     3. 안다는 것을 모르는 것 : 직관이 여기에 해당한다. 정량화해야 하고 유효성과 효율성을 향상시킬 방법을 알아야한다.
     4. 모른다는 것을 모르는 것 : 탐색이 여기에 해당한다. 경쟁 우위와 흥미로운 깨달음은 여기에서 비롯된다.
     
     분석은 이 네가지 정보에 대해서 모두 중요한 역할을 한다.
  4. 선행 지표와 후행 지표
     : 선행 지표는 미래를 예측할 수 있게 도와주고 후행 지표는 과거를 설명해준다.
     두 가지 지표 모두 유용하지만 사용 목적이 다르다.
  5. 상관 지표와 인과 지표
     : 상관관계만으로 만족 해야 할 때도 있지만, 인과관계를 찾으려 항상 노력해야한다.
     : 두 지표 값이 함께 움직이면 이 두 지표 사이에는 상관관계가 있다고 본다. 반면에 한 지표가 다른 지표를 변하게 하면 이 두 지표 사이에는 인과관계가 있다고 본다.

분석가들은 사업을 이끄는 특정 지표를 분석하는데, 이것을 핵심 성과 지표 ( KPI : Key Performance Indicators) 라고 부른다.

목표 수정

처음에 결정한 목표치는 확고 불변한 목표가 아니라 가변적인 목표다.

여러분의 가정과 사용자의 실제 행동은 크게 다를 수 있다. 이럴 때는 타당성을 입증할 수만 있다면 상황에 맞게 목표를 수정하는 것이 합리적이다.

고객 세분화, 코호트, A/B 테스트, 다분량 분석

테스트는 린분석의 핵심이다.

테스트란, 시장 세분화 / 코호트 분석/ AB 테스트를 통해 두가지를 서로 비교하는 것이다.

1. 고객 세분화
인구통계학적 정보에 따라 세분화할 수도있고 구매 패턴에 따라 고객군을 나눌 수도 있다.

고객 세분화(segmentation) 은 모든 산업과 모든 형태의 마케팅에 도움이 된다.

고객군이란, 공통의 특징을 공유하는 집단이다.

 

2. 코호트 분석 ( 종단적 연구 )

코호트 분석은 시간을 두고 비슷한 그룹을 비교하는 것이다.

 

코호트 분석은 스타트업 비즈니스에 중요하다.

전체고객	1,000	2,000	3,000	4,000	5,000
고객당 평균 매출	$5.00	$4.50	$4.33	$4.25	$4.50

이 표를 보고 사실 상황이 좋아지고 있는지, 나빠지고 있는지 알기 어렵다.
최근에 가입한 고객과 이전에 가입한 고객들을 비교하지 않았고, 완전 신규고객의 구매액과 기존 고객의 구매액을 구별하지도 않았기 때문이다.

신규사용자	1,000	1,000	1,000	1,000	1,000
전체 사용자	1,000	2,000	3,000	4,000	5,000
1개월	$5.00	$3.00	$2.00	$1.00	$0.50
2개월		$6.00	$4.00	$2.00	$1.00
3개월			$7.00	$6.00	$5.00
4개월				$8.00	$7.00
5개월					$9.00

코호트 분석을 진행해보면 시간이 지날 수록 가입한 고객들의 첫달 구매액의 거의 두배에 달한다. ( 신규회원에게는 강력한 앱인것 같다. ! )

 

위의 표처럼 가입한 달에 대한 코호트 분석 뿐만 아니라 사용자 경험에 따라 데이터를 나열 할 수 있다.

ex, 쇼핑몰 사용 개월 수를 기준으로 코호트 분석을 할 수 있다. ( 위의 표와 결론은 같아 보인다. )

 

위의 코호트 분석을 통해, 첫달 구매액은 시간이 흘러감에 따라 점점 증가하며

’첫 달 이후 구매액의 감소폭’에 대해 주의를 기울여야한다는 것을 확인 할 수있다

 

3. A/B 테스트와 다변량 테스트 ( 횡단적 연구 )

: 테스트 대상인 그룹들에게 동시에 서로 다른 경험을 하게 하는 조사

 

 

트래픽이 작은 경우에는 빠르게 실험을 할 수없다. 그러나 우리는 다양한 실험을 하고 싶다.

그래서 ‘다변량 테스트’를 하고 싶다. 이러한 테스트를 하기 위해서는 ‘다변량 분석’이라는 기법을 사용한다.

다변량 분석에서는 많은 요소중 어떤 것이 핵심 지표의 개선과 강한 상관관계가 있는지 알아보기 위해 결과에 대해 통계적 분석을 실시한다.

 

4. 린 분석에 기반을 둔 스타트업의 생애주기

1. 고객 유지율, 매출, 고객 활동 같이 개선할 KPI를 선택하되, 사업 단계와 사업 모델을 고려하여 가장 근본적인 사업상의 위험을 반영하는 KPI를 선택하라
2. 사업 모델을 바탕으로 그 KPI에 대해 기준을 정하라
3. KPI를 개선시킬 방법을 파악하라
   1. 데이터가 없다면, 브레인 스토밍, 남의 아이디어 훔치기, 사용자 피드백 등
   2. 데이터가 있다면, 구매/회원가입/공유/기여/매출 창출 등을 통해 ‘좋은 방문자, 사용자,고객’을 찾아내라
      1. 이 ‘좋은’ 사용자들의 공통점은 무엇인가?
      2. 개선하고자 하는 KPI와 상관관계가 있으면서 ‘좋은’ 사용자들이 공유하는 특징을 찾아라
4. 액션
   1. 용감하다면, 이 공통된 특징을 대상으로 사업을 수정하라 ( 제품, 시장, 가격 정책 등)
   2. 신중하다면, A/B 테스트 또는 다변량 테스트를 설계하라 → 성공적인 솔류션을 구현하라
5. 변화가 KPI에 미친 영향을 측정하라. 이 변화를 경험 사용자들의 코호트를 분석하라.
6. KPI가 기준을 충족시켰는가?
   1. NO 라면, 다시 시도하라 / 고객과 이야기를 나누고 새 기준을 정하라 / 방향을 전환하거나 포기하라.
   2. YES 라면, 다시 a 부터 새롭게 시작하라

 

CHAPTER 3. 어떤 일을 할 것인가

린 캔버스

린 캔버스란,

실행에 옮길 수 있는 한 페이지 짜리 사업 계획이다.

사업이 진행됨에 따라 내용도 계속 바뀌게된다.

전통적인 사업계획서와 달리 린캔버스는 지속적으로 이용하고 업데이트 해야한다. ‘살아 숨쉬는’계획서이다.

한 장의 종이 위에 그려진 아홉 칸의 상자로 구성되어 있으며 사업의 가장 중요한 요소를 한눈에 살펴 볼 수 있게 설계 되어있다.

 

 

- 린 캔버스의 구체적인 설명

문제 : 사람들이 불편함을 느끼는 진짜 문제점을 찾았는가?

고객군 : 목표 시장을 알고 있는가? 고객군을 구별해서 각각에 맞는 메시지를 전달할 방법을 알고 있는가 ?

고유의 가치 제안 : 여러분의 제품이 왜 더 나은지 또는 어떻게 다른지 명료하고 독특하며 기억에 남는 방법으로 설명할 수 있는가?

솔루션 : 문제를 적절한 방식으로 해결할 수 있는가?

채널 : 고객에게 제품이나 서비스를 어떻게 전달하고 매출을 발생시킬 것인가?

수익원 : 수익이 어디에서 발생하는가? 일회성인가 반복적으로 발생하는가? 수익이 직접적으로 발생하는가 아니면 간접적으로 발생하는가?

비용구조 : 사업 운영에 필요한 직/간접적인 비용은 무엇인가?

핵심 지표 : 사업이 잘되고 있는지 알기위해 어떤 숫자들을 추적해야 하는지 알고있는가?

경쟁우위 : 여러분의 노력이 경쟁자보다 더 좋은 결과를 내도록 만드는 ‘증폭기’는 무엇인가?

 

무슨 일을 해야하는가

린 캔버스 외에 인간적으로 고려할 것이 있다. ‘여러분은 과연 그 일을 하고 싶은가?’

창업가로서 성공하려면 (제품에 대한) 수요와 (제품을 만들 수 있는) 능력, (그런 제품을 만들고자하는) 욕구가 만나는 지점을 찾아야한다.

 

아래와 같은 세가지 기준을 가지고 사업을 시작할 때 평가해야한다.

1. 내가 하고 싶은 이일을 잘 할 수 있는가?

2. 이 일을 좋아하는가?

3. 이 일로 돈을 버는가

CHAPTER 4. 데이터 주도적 접근법과 데이터를 참고하는 접근법

데이터를 분석할 때 피해야할 10가지 함정

1. 데이터에 결점이 없다고 가정하는 것.

2. 표준화 하지 않는 것

: 인기 있는 결혼식 장소를 얻기 이해 비행기를 타고온 사람의 수를 셀 수 있지만, 이때 전체 항공 승객수를 고려하지 않으면 ‘그저 비행기를   이용하는 방문객 수’가 많은 도시들의 목록이 될 수 있다.

3. 열외의 사용자들을 배제하는 것 : 하루에 첫번이상 방문하는 사람은 열혈 팬일 수도있지만 검색 봇일 수도 있다.

4. 열외의 사용자들을 포함시키는 것

5. 계절적 변동을 무시하는 것

6. 성장을 평가할 때 전체 규모를 무시하는 것

: 사업을 막 시작할때 가족이 회원 가입만 해줘도 사용자 수는 2배가 증가할 수있다.

7. 지나치게 많아 의미를 잃은 데이터

: 대시보드가 있어도 어떤 데이터를 봐야할지 모르면 아무 소용이 없다.

8. 거짓 경보를 울리는 지표

: 자주 경보가 울리면 결국 여러분은 경보를 무시하게 될것이다.

9. 직접 수집한 데이터만 인정하는 배타적 태도

10.잡음에 초점을 두는 것

: 인간의 속성은 패턴이 없는데도 패턴을 발견하도록 되어있다고 경고한다. 허상 지표는 무시하고 한 발 물러서서 더 큰 그림을 볼 줄 알아야 한다.