Case study 좀 그만 찾으세요

학부시절 B모 전략 컨설팅 회사 인턴을 한 후, 평생 다시는 전략 컨설팅을 하지 않겠다고, 내가 그런 서비스를 쓰지도 않겠다고 결심했었다. 여기저기서 “사례”라는 걸 긁어 붙인 후, “분석”이랍시고 화려해보이는 그림 몇 개를 더 추가한 ppt 100장을 제공하는게 전략 컨설팅이라는 걸, 그런 풋내기 시절에 이미 보았기 때문이다. 나이를 먹고 점점 더 경험의 폭과 배움의 깊이가 깊어지면서, 요즘은 유명 전략 컨설팅 회사 출신이고 이름 높은 학교의 MBA를 나왔다고 자랑하면 보통 그 인재는 “걸러야”한다고 생각할 정도가 되었다.

전략 컨설팅 사람들을 싫어하고 무시하는 가장 결정적인 이유는 “잘 모르면서 아는체 하는 꼴”이 너무 꼴불견이기 때문이다. 그리고 그들의 아는체는 대부분 X 기업에서 있었던 Y 사례, 즉 Case Study에 기반해있다. A회사가 B회사를 인수해서 크게 성공했다는 Case Study가 과연 C회사에도 똑같이 적용될 수 있을까? D회사에는? E, F 회사에는? 직접 인력 결합을 시도해 본 분들이 더 경험을 바탕으로 한 지식을 갖고 있겠지만, 최초 입사시에 스펙이 달랐던 것부터 시작해서, 급여 책정 기준도 다르고, 사람들의 성향이나 조직 문화, 나아가 사회적 시선도 달랐던 조직을 하나로 합치는 것은 보통 쉬운 일이 아니다. 인사 문제 하나만 해도 이렇게 풀어야할 고리가 넘쳐나는데, 직접 업무 수행을 하면서 고리를 하나씩 하나씩 풀어나가야 할 일에 Case Study 하나 둘로 해결이 가능할까?

더 근본적인 문제는, 그들 대부분이 사고 실험을 할 수 있는 도구를 갖고 있지 않다는데 있다. 예를 들어, 상품 가격이 올라도 잘 팔리는 일이 있는걸 보면 우하향 수요곡선을 가정하는 경제학은 틀렸다고 주장하는 경영학과 수준의 (한심, 멍청한) 지식인을 보자. 학부 1학년 경제원론을 제대로 배웠다면, 우하향 수요곡선이 한계효용 체감의 법칙을 가정하고 도출해낸 수학식의 그래프 모양이라는 걸 알게된다. 당연히 한계효용 체감의 법칙이 적용되지 않는 영역으로 가면 가격과 수요의 반비례 관계가 깨질 수도 있다. 가격이 오르면 많이 팔리는 사치재를 1명이 수십개씩 사는 일은 없다. 명품백 여러개 가진 사람 있지 않냐고? 똑같은거 말고 다른거 여러개를 사겠지. 거기도 한계 효용은 체감할 테니까. 여러 사람이 1개씩 상품을 사는데, 비싸도 저걸 갖고 싶다는 Peer pressure를 세일즈에 이용했다는 결론을 내리는게 더 합리적인 판단 아닐까? 근본적인 가정을 알고 있는 경우와, 수박 겉핡기 수준의 지식만을 갖고 있는 사람이 새로운 문제에 직면할 때 나오는 반응은 다를 수 밖에 없다.

실제로 Valuation 모델로 열심히 밤을 새던 뱅킹 시절, Sell-side와 Buy-side간에 적정 valuation으로 논쟁이 붙었는데, 2008년 금융위기 당시에 여러 종류의 이자율이 동반 상승한 부분과 특정 영역의 risk premium이 상승한 부분간의 차이를 이해못하는 counter-party를 꿀먹은 벙어리로 만들었던 기억이 있다. 외국에서 오래살다와서 영어만 번드르르하게 잘 한다는 이유로 뽑힌 뱅커들의 문제, 기본 모델을 이해 못하는 바보들이 항상 겪을 수 밖에 없는 문제를 그대로 보여준 비지니스 사례라고 생각하면 되겠다.

Case Study 좀 넣어주세요

요즘 기업들이 Data Science 관련된 강의 요청을 하면서 꼭 Case Study를 넣어달라고 이야기 한다. 업무 하다가 문제가 해결 안 되면 Case Study를 찾는단다.

10년전부터 전략 컨설팅 회사를 혐오 수준으로 싫어하게 되었던 것과 같은 내용을 내 강의에 넣어달라고 하면 좀 비참해진다.

어차피 들어도 못 알아듣거나, 알아들어도 회사에서 구현하기 쉽지 않을텐데? 대충 트렌드 훑어주는 경영학과 수업 스타일의 시간 낭비성 강의를 원한다면 또 모를까, 정말 회사 업무에 적용해서 서비스 수준을 업그레이드하려면 수업 레벨은 당연히 올라가야하지 않나?

실제로 회사들에 강의가서 그런 모델들 적용하는 미쿡 Top class 회사들 사례를 던져주면 강의장이 침묵에 휩싸이는 걸 느낄 수 있다. 평소에 Case Study라고 하면 Harvard Business Review에서 골라온 MBA 수준의 수박 겉핡기 지식 정도의 Case들만 봤기 때문에, Case Study 몇 개만 보고나면 비지니스 수준을 끌어올릴 수 있을 거라는 착각 속에 살다가, Case Study라고 다 같은게 아니라는 걸 깨달았기 때문일 것이다. 미안한 이야기지만, 아마 그 강의장에 앉아있는 회사 임직원들 중에 필자의 Case Study를 알아먹은 사람은 채 5%가 되지 않을 것이다. (폭격맞고 얼빠진 표정 가득한 강의장에 서 있으면 미안함, 안타까움과 더불어 알아먹을 실력도 안 되면서 바쁜사람 왜 불렀냐는 분노도 좀 생긴다ㅋ)

왜 그럴까? 저 위에서 언급한 근본적인 문제, 사고 실험을 할 수 있는 도구를 갖고 있지 않기 때문이다. 대학에서 학문을 배운다는 것은 A 사건이 일어나면 B, C, D 같은 사건이 연쇄로 일어날 수 있는 가능성을 자기 머리나 경험으로 생각하는게 아니라, 체계적인 모델로 인지한 다음, 그 모델의 변형이 일어날 때 결과물이 어떻게 달라질지를 따질 수 있는 지적인 훈련을 받는다는 말과 같다.

그런데, 학창 시절에 공부를 그런 식으로 한 적이 없고, 암기만 했거나, 최소한 회사 생활 몇 년 동안 그런 “지적인 근육”을 모조리 잃어버렸기 때문일 것이다.

그런 예시 딱 하나만 들어보자. 참고로 이건 요즘 미쿡에서 시가총액 세계 1위를 넘보는 A모 회사에 있는 친구가 하고 있다는 업무 중 하나다.

 

수요 곡선 측정하기 (Demand Curve estimation)

온라인 쇼핑몰 회사들이 으레 그렇듯이, 가능한 최저가를 제시해서 유저들의 지갑을 열어보려고 노력한다. 근데, 무조건 최저가를 제시해야 구매하는게 아니라, 자기의 필요에 맞는 상품, 자기 마음 속의 지불 의지보다 더 가격이 낮은 상품이어야 구매 행동이 일어난다. 경제학에서는 Willingness to pay라고 부르고, 수학적으로 이 문제를 도식화하기 위해서 효용 (Utility)이라는 이름을 붙여놨다.

그래서 수요 곡선은 가격과 소비량 순서쌍을 연결한 그래프이기도 하지만, 동시에 소비자들 각각의 Utility 값을 연결해놓은 선(thus, 한계효용체감의 법칙)이라고도 볼 수 있다.

문제는 이 수요 곡선을 실제로 계산하는게 거의 불가능에 가깝다는데 있다. 엥? 가격 (P)과 수요량 (Q) 데이터만 구하면 되는 것 아니냐고?

우리가 시장에서 만나는 데이터, (a) Observation,는 가격 (P)마다 수요량 (Q)이 아니라 구매량 밖에 없다. 구매량이랑 수요량이랑 똑같은 데이터 아니냐고? 글쎄, 사고 싶지만 비싸서 안 사는 경우가 얼마나 많냐? 구매량이라는 데이터는 구매자들의 “수요”가 아니라, “수요와 공급이 만났던 점”이다. 그래서, 수요 곡선을 구하려고 실제 데이터인 구매량을 이용하면 가격이 오를 때마다 공급이 늘어나서 전체 구매량이 증가하는, (b) Estimation, 그래프가 나오게 된다. X를 구하려고 했는데 Y를 구하게 되는 꼴이 되는 것이다. (수요 곡선 구하려고 했는데, 공급 곡선 정보와 뒤섞인 Hybrid 곡선이 나오게 된다.)

상식적으로 생각하기에는 가격이 올라가면 적게 소비하고, 가격이 내려가면 많이 소비하는 우하향 곡선이 나와야하는데, 위의 (b) Estimation 에서 보다시피 곡선의 모양이 우리의 상상과는 많이 다르다. 공급곡선과 수요곡선이 만나는 점만 찾았기 때문이다. 우리의 상상은 (c) Reality인데, 이걸 어떻게 찾냐고?

경제학의 산업조직론에서는 이런 수요 곡선을 찾아내기 위해서 도구 변수 (Instrumental variable)이라는 고급 통계 방법론을 쓰기도 한다. 그 도구 변수를 어떤 변수를 쓰느냐에 대한 논란도 많고, 적합한 데이터를 모으는 작업도 쉽지 않다. 좀 쉽게 말하면, 수요 곡선 하나 찾아내는게 최소한 석사들의 학위 논문 주제는 될만한 내용, 산업 구조가 복잡하다면 박사 연구 주제가 될지도 모를만한 내용이다.

 

이걸 온라인 쇼핑몰에서는 쉽게 계산할 수 있다고?

당장 예전처럼 가격과 구매량 데이터를 구하려고 동네방네 돌아다녀야 할 필요가 없다.  데이터 베이스에 Query 한번 날리면 다 뽑아낼 수 있는 정보 아닌가? 길거리에서 팔리는 상품들은 사람들이 정보 탐색에 얼마나 큰 비용을 쓰는지, 날씨는 어땠는지, 교통비나 걸어서 이동하는 시간의 가치는 얼마일지도 생각해야해서 고려해야하는 변수가 엄청나게 늘어난다. 그런데 온라인 쇼핑몰에서 검색어 한 두번만 더 넣어보면 되는 작업이 정보 탐색 비용이 어마어마하다고 할 수 있을까? 쉽게 말해서, 데이터의 Noise가 확 줄어든다. 그리고 도구 변수로 삼을만한 다른 정보들도 모두 데이터 베이스 안에 다 있다. 비슷한 상품 판매량, 전체 상품 판매량 같은 데이터가 대표적인 도구 변수 후보들이다.

정리하면, 예전에는 석사 학위 논문 주제에 비견할만큼의 지적인 노동을 1-2시간의 간단한 노동만으로 찾아낼 수 있게 되었다.

 

 

그럼 왜 수요 곡선을 (정확하게) 측정해야할까?

경제학 수업 시간에 “수요 탄력성”이라는 개념을 들어본 적이 있는가?

가격을 내리면 얼마만큼 수요가 증가할지는 수요 곡선의 모양에 좌우된다. 수요곡선이 가파르다면 (왼쪽 그래프, 탄력성이 1이상이면), 수요량이 별로 증가하지 않고, 반대로 수요곡선이 완만하다면 (오른쪽 그래프, 탄력성이 1미만이면), 수요량이 크게 증가한다.

이런 정보를 갖고 있으면 무조건 가격을 내려야 잘 팔린다는 1차원적인 사고 방식에서 벗어나서, 상품 X는 가격 할인 쿠폰을 보내주는게 좋은지, 단순히 홍보를 많이 하는게 더 좋은지를 결정할 수 있다. 아마도 해외 온라인 쇼핑몰을 쓰는 구매자라면 k% 할인 쿠폰이 특정 상품군에만 적용되는 경우를 종종 봤을 것이다. 그 상품군의 상품들은 가격이 조금만 내려도 소비량이 대폭 증가하는 상품이라고 쇼핑몰 내부적으로 판단했기 때문에 가능한 일이다.

이런 Case Study를 실제로 온라인 쇼핑몰 회사들 몇 군데에 공유해 준 적이 있다. (Case Study 싫어하지만 그래도 세상과 타협했다 ㅋㅋ)

이 글을 쓰는 시점을 기준으로 위의 내용을 공유한지 6개월에서 1년 정도가 지났는데, 이걸 자기네 사업에 구현했다는 이야기도 들어본 적이 없고, 궁금하다고 추가 정보를 요구받았던 적도 없다. 아마 그 날 외부 강의 중에 잠깐 듣고 잊어버렸을 것이다. (나같으면, 내가 실력이 없다고 판단되면, 우리 데이터 줄 테니 이거 계산해주는 컨설팅 부탁해도 되겠냐고 물어본다.)

 

나가며 – Case를 모르는걸까? (기본)실력이 부족한걸까?

학부 2학년 1학기에 본의 아니게 경영학과 친구의 마케팅 수업을 한 번 들어갔던 적이 있다. 상품 가격이 비싸면 잘 팔리는 경우도 있다는 사치재 설명을 하신 그 교수님은 분명히 본인의 학위 중에 베블렌 효과(Veblen effect)를 증명하는데 필요한 수학적 지식과 경제학적 훈련을 받은 분이었을 것이다. 그러나 그 한 학기 내내, 아니 졸업하고 10년이 지난 지금까지 그 경영학과 학부만 졸업한 친구가 베블렌 효과를 이해하고 사고의 툴로 활용하는 걸 단 한번도 본적이 없다.

Case Study란 그런 것이다. 겉 껍데기에 대한 얇은 지식만 배우는 그런 공부. 그래서 MBA처럼 학문적이지 않은 학위 과정에서나 쓰는 교육 자재가 되는 것이다.

불행하게도 Data Science의 영역은 그런 말만 번드르르한 전략 컨설팅과 경영학과 or MBA정도의 지적인 수준으로 도전할 수 있는 내용이 아니다. (물론 1차원 수준의 그래프 몇 개 그려놓고 Data Science라고 우기는 사람들이 있다는 걸 모르는 건 아니지만.)

위의 수요 곡선 측정에 대한 설명을 경제학 학부 과정을 충실하게 졸업한 학생이라면 다 이해할 수 있을까? 적어도 학부를 대충 다녔던 필자는 석사 시절 논문을 쓰면서 겨우 이해를 했었다. 그리고 그 시절부터 알고 지내던 경영학과 친구들 중에 수요 곡선을 왜 구해야하는지 이해했던 친구는 한 명도 없다. 예전처럼 석사 학위 하나를 걸고 논문을 써야 겨우 찾아낼 수 있는 정보도 아니고, 대형 온라인 쇼핑몰이라면 쉽게 찾아낼 수 있는 정보, 그렇게들 좋아하시는 미국에서는 이미 써먹고 있는 정보인데, 왜들 그렇게 관심이 없을까? 아니, 관심이 없는게 아니라, 실력이 없는 건 아닐까?

당신들에게 필요한 건 오늘 듣고 내일 잊어버릴 Case Study 몇 개가 아니라, 수요 곡선, 탄력성 같은 교과서적인 지식과 업무 응용 센스다.

Case Study 달라고, 다른 기업 사례 달라고 하시던 기업 관계자 분들, 좀 깨달으셨으면 좋겠다.