(이미지를 클릭하면 슬라이드쉐어 페이지로 넘어갑니다)
지금의 회사에서는 매주 돌아가면서 한 사람씩 자유 주제로 발표를 하는 제도가 있다.
내 차례에 이것저것 고민하다 최종적으로 낙찰된 주제는 ‘지표’에 대한 이야기였다. 이 이야기를 한참 했던 시기는 2014년, 한참 ‘린 스타트업’ 관련 이야기가 대두되면서 ‘린 분석’ 이야기도 나오던 시점이었고, 그 때 나는 그 ‘린 분석’이라는 이름을 달고 나온 책([린 분석], 엘리스테아 크롤 외, 2014, 한빛미디어)을 읽고 이거다! 라는 생각과 함께 나는 데이터를 보고 이해해서 전달할 수 있는 사람이니까, 이런 업을 이 책의 기조대로 스타트업에서 실행하고, 이를 통해서 스타트업이 빠르게 성장하는 엔진이 될 수 있으면 얼마나 좋을까! 하는 생각을 했다. 정말로, 이 책을 읽고 이 책에서 이야기하는 것에 조금은 두근거렸고, 이 책에서 이야기하는 것을 가지고 사람들과 같이 어떤 서비스를 리드할 수 있으면 얼마나 좋을까 하는 생각에 괜히 혼자 마음이 들뜨기도 했더랬다. 그래서 이런 좋은 것이 있다고 기회가 닿는 대로 발표도 하고 사람들과 공유하기도 했었다.
그리고 오랜 시간이 지나고, 다시 이런 이야기를 공유할 필요성을 느꼈고, 시간은 많이 지났고, 내가 좋아했던 책은 절판되었고, 여전히 많은 곳은 이런 개념이 여전히 필요하지만, 이 좋은 개념이 퍼지기에는 여전히 여러 시스템과 생각의 공유가 부족했구나 하는 생각을 했다. 그리고 그렇다면 이런 공유에 나도 작게나마 기여해야겠다고 생각해서, 회사에서도 세션을 하고, 슬라이드도 공유하면서 몇 가지 사족을 더 붙이고 싶었다.
‘좋은 지표’라는 것이 왜 그렇게 중요할까? 라고 생각하면 명약관화하다. 지표라는 것은 어떤 목표를 향해서, 지금 우리가 어느 정도 나아가고 있는 지를 알려주는 수치다. 만약 우리의 목표가 ‘1,000만명의 고객을 만드는 것’이라면 가장 흔하게 생각할 수 있는 현재 상태는 ‘현재 고객 500만명’일 것이다. 그리고 이를 좋은 지표화한다면 ‘목표의 50%, 어제 490만명이었다가 1%p 증가’ 같은 것일 것이다. 이 숫자에 대해서는 많은 분들이 이해할 것이다. 지표란 이렇게 어려운 것이 아니다. 깔끔하고 누구나 보기 쉽고, 이를 본인의 일에도 적용하기 쉬운 숫자들이다. 측정 가능한 목표를 가진 개인, 팀, 서비스, 회사라면 어디든 이런 지표를 만들 수 있고, 이를 갱신하며 자신의 현재 위치와 상태를 파악하고, 이를 기준으로 해야 할 일을 결정할 수 있다.
하지만 이에 대한 가장 큰 비극은, 생각보다 많은 경우 사람들은 크고 아름다운 숫자를 좋아하고 이에 빠지고 나면 작거나 항상 좋지만은 않은 다른 숫자에는 거부감을 보이게 된다는 것이다. 몇 만 다운로드, 누적 방문자 수 몇 만 명, 초기 페이지뷰(해당 화면이 몇 회 노출되었는 지를 나타냄) 몇 백만 회 같은 숫자를 보고 나면 이 숫자에 경도되고 그 숫자가 본인이 만든 서비스를 보여주는 것 같다. 물론 그 숫자들이 거짓말인 것은 아니다. 이 숫자들은 엄연한 우리 서비스가 얻어낸 ‘결과’이고 진실된 숫자다. 그 숫자가 클 수록 본인의 기분도 좋아질 것이고, 남들에게 자랑할 수도 있을 것이다. 보여주는 것은 분명 매우 중요하고 즐거운 요소다.
하지만, ‘우리 서비스의 메인 페이지의 누적 페이지뷰가 백만 회가 되었다’고 했을 때, 여기에서 우리가 얻을 수 있는 정보는 ‘그 숫자 자체’ 외에 무엇이 있을까? 이 숫자가, 우리 서비스가 얼마나 잘 되고 있는 지를 대변해 줄 수 있을까? 있다면 다행이지만, 대부분의 경우 없을 것이다. 그럼에도 불구하고, 그런 큰 숫자에 경도된 사람들이, 해당 숫자를 사용해서 사람들에게 자신의 서비스를 알리고, 그 숫자를 한도 없이 무작정 키워야 한다는 생각에 사로잡혀서, 그 숫자로 서비스의 상태를 판단한다. 어, 이제 페이지뷰가 110만회가 되었네? 좋아! 어, 왜 아직도 페이지뷰가 111만회밖에 되지 않아? 같은 식으로 말이다.
이대로 과연 괜찮은 것일까? 당연히 그럴 리가 없다. 이 숫자는 우리 서비스에 대한 ‘어떤 대표값’은 될 수 있을 지 모르지만, ‘지표’로서의 역할을 할 수는 없다. 그래서 우리가 경계해야 할 것은, ‘어떤 멋진 대표값’과 ‘지표’를 구분하는 것이다. 전문 용어(?)로 ‘허상 지표(vanity metrics)’와 ‘실질 지표(actionable metrics)’라고 구분한다. 그리고 이 ‘실질 지표’를 잘 활용하는 것이 진정한 ‘데이터 주도 방식(data-driven)’의 시작이라고 할 수 있다. 물론 실질 지표가 모든 것을 해결해 주지는 않고, 특히 지표란, 혹은 데이터란 것이 대부분 ‘왜’를 알려주지는 않는다. 하지만 좋은 지표는 나침반과 같아 현재의 서비스 상태를 객관적으로 이해하도록 도와준다. 이를 잘 이해하면, 앞으로 무엇을 해야 할 지 이해할 수 있다.
그렇다면 좋은 지표는 어떤 것일까. 일반적으로 실질 지표라고 하면 정량적이면서 상대적인 지표를 말한다. 예를 들어 ‘이번 주의 매출은 120,000달러다’보다는 ‘지난 주보다 매출이 증가했다’가 낫고, 이보다는 ‘지난 주보다 매출이 10,000달러 증가했다’가 나으며, 이 보다는 ‘지난 주보다 매출이 9% 증가했다’가 낫다. 정량적인 수치는 계산 및 추정이 가능하며, 이를 비율로 구하는 경우 숫자 하나만으로도 이전 기간, 목표, 혹은 다른 지표와의 빠른 비교가 가능하다. 또한 이런 추론을 통해 빠르게 행동으로 옮기기에도 용이하며, 그 행동이 어느 정도 실천 가능한 형태가 된다.
또한 직관적이며, 몇 개 안 되는 숫자여야 한다. 일단 지표가 너무 복잡하고 어려우면 이를 보고 이해해서 바로 행동하기 어렵다. 바로 이해하고 행동하기 어려운 지표는 아무리 대시보드에 크게 적어두어도 점점 안 보게 된다. 지표는 직관적으로 이해할 수 있도록 쉽고 간단해야 한다. 또한 지표로 사용하는 수치는 몇 개 안 되어야 한다. 물론 서비스라면 고객 수치가 커야 하고 이탈 고객은 적어야 하고 고객이 구매하는 물건도 많았으면 좋겠고 새로 가입하는 회원도 많기를 바랄 것이다. 하지만 하나하나를 매일마다 다 머릿속에 넣고 있다가는 행동 하나를 하는 데도 머릿 속이 복잡해져서 아무 것도 할 수 없을 것이다. 물론 전반적인 상태를 구석구석 파악해서 어디엔가 구멍이 생긴 것을 막는 것은 중요하다. 하지만 지표를 확인하는 데 숫자가 열 몇 개씩 한 번에 들어온다면 이를 보고 행동을 정하는 것은 매우 어려울 것이다. 이런 많은 숫자는 정말로 수학적 재능을 타고난 사람이 아니고서는 ‘직관적이지 않다’. 보통 사람이 단기로 기억할 수 있는 것은 7개(2개 정도 차이로 5~9개)라고 한다. 기억도 이 정도인데 이를 사용해서 행동을 빠르게 추론하기는 더더욱 어려울 것이다. 다양한 지표를 지속적으로 모니터링하는 것은 중요하지만, 일단 어떤 범위에 대한 지표는 꼭 필요한 것만, 목표의 우선 순위에 따라 요약해서 갖다 두는 것이 필요하다.
그러면 지표는 어떻게 만들어야 할까. 만약 현재 ‘지표를 잘 만들어 봐야겠다’라고 생각하는 사람이 작은 스타트업의 창업자라면 아무런 문제가 되지 않는다. ‘린 스타트업’ 관련 책은 여전히 서점에 있고, 여기에 해적 지표라든가 린 캔버스 등 여러 지표 관련 이론들이 정리되어 있을 것이다. 또한 인터넷에 ‘스타트업 지표’라고만 검색해도 줄줄이 나온다. 하지만 세상에는 스타트업 창업자보다는 나를 비롯한 일반 직장인이 더 많고, 이 글을 보는 사람들 역시 마찬가지일 것이다. 그리고 ‘회사에서 자꾸 이상한 숫자를 가져다 대면서 뭘 하라는데 말도 안된다’라고 생각하면서 답답해 하지만, 이에 대해서 이야기할 수 없는 사람들도 있을 것이다. 안타깝게도 이게 현실이다.
지표란 나침반과 같다고 했다. 나침반은 여행가가 자신의 위치를 파악하고 방향을 찾기 위해 쓰는 도구다. 여기서 중요한 것은 ‘자신’이다. 위치를 확인하고 행동을 결정하는 사람이 ‘지표’를 제대로 이해하고 사용해야 한다. 각자가 본인이 주도하고 지속적으로 볼 지표는 만들 수 있지만, 서비스나 회사의 경우, 결국 이를 보고 행동을 하는 사람은 어떤 결정권자다. 운이 좋아 결정권자가 데이터 일을 하는 사람과 잘 협업해서 좋은 지표를 만들고 이를 잘 이해하는 이상적인 상황에서 일을 할 수도 있겠지만, 안타깝게도 그렇지 않은 경우도 다수다. 같이 일하는 사람들이 아무리 ‘이런 것을 사용해야 해요’ 하고 들이밀거나 답답해 해도, 실제 결정권자가 이에 의미를 두지 않으면 아무 소용 없다. 그래서 데이터를 보는 사람의 일은 그런 것이다. 누구보다 데이터나 숫자 자체에 대한 이해는 높을테니, 일이나 목표에 대한 이해가 높은 결정권자를 도와서 최적의 지표를 만들고 이를 보여주는 것. 이를 위해 결국 필요한 것은 결정권자와의 직접적인 협업, 혹은 지표와 데이터에 대한 이해와 신뢰를 얻어내는 일이다. 이는 각각의 상황에 따라 모두 다를 것이며, 경우에 따라 매우 어렵고 피곤하며 재미없지만 중요하며, 사실 데이터가 회사에 가장 크게 기여할 수 있는 일이다. 데이터 분석가의 일이라고 여기저기 기술된 것 중에 대부분 빠져있지만, 실제로 그렇게 기술되어 있는, 재미있어 보이는 일들을 하기 위해서 꼭 필요한 중요한 일이기도 하다.
이 블로그에 4년 전에도 지표에 관한 글을 썼었다. 같이 읽어봐도 좋겠다.