빅데이터를 이용한 비지니스 모델
빅데이터 “Integrated Intelligence”를 이용한 비지니스 모델
Pabii 블로그의 가장 큰 흐름을 2개만 잡으라면 하나는 수학과 통계학같은 기초학문이 탄탄해야 요즘 인공지능이라고 불리는 데이터 사이언스 작업을 이해할 수 있다는 포인트와, 빅데이터란 용량만 많은 데이터가 아니라 많은 사람들의 행동 패턴을 추적할 수 있는 데이터라는 포인트다. 그 중 빅데이터에 대한 관점을 좀 전문 용어를 빌려쓰면 집단지성 (Collective Intelligence)과 통합지성 (Integrated Intelligence)의 구분을 활용해볼 수 있을 것 같다.
요즘 인구에 회자되지만 정작 용어에 대한 정의에 여러가지 혼선이 있는 빅데이터라는 개념은 1,000명의 샘플 유권자 대신 백만명 정도의 유권자들을 대상으로 조사하면 대통령 선거 결과를 좀 더 정확하게 예측할 수 있다는 집단지성의 접근법에서 벗어나, 백만명 각각의 행동패턴 데이터를 따라다니면서 그들의 유사함과 차이점들을 바탕으로 정치 선호를 가늠하는 통합지성의 맥락에서 바라봐야한다.
이전의 다른 글에서 언급했듯이, 통계학 샘플링을 조금만 공부하면 1,000명의 유권자 대신 백만명의 유권자들을 대상으로한 설문조사에서 나오는 장점이 그렇게 많지 않다는 것을 이해할 것이다. 다른 글 링크를 따라가기 귀찮은 분들을 위해서 간단 요약을 하면, 유권자 숫자를 1,000배 늘려봐야 표준오차가 1000분의 1이 될 것을, 32분의 1로 줄이는 정도에 불과하다. 1,000배나 더 많은 사람들에게 설문조사하려고 들어갈 돈을 생각하면, 그리고 적절한 표준 샘플링이 실패할 가능성을 생각해보면 왜 설문조사 기관들이 1,000(+n)명의 유권자들 기반으로 조사하는지 알 수 있게 된다.
반면 통합지성의 맥락에서 바라보면 유권자의 숫자가 많을수록, 그들의 행동 패턴에 대한 데이터가 많을수록 다양한 행동 패턴과 정치 성향을 연결지어볼 수 있다. 특정 후보 A를 지지하는 사람 모두가 동질적인 (Homogeneous) 사람이 아니고, 특정 연령, 성별, 지역만으로만 정치 성향을 함부로 단정지을 수도 없다. 오히려 어떤 웹 컨텐츠를 더 소비하고, 어떤 사회적 지위에 있고, 어떤 사람들과 어울리냐가 훨씬 더 중요한 정보인 경우가 대부분이다. 그런데, 집단지성 기반의 데이터로 어떤 웹 컨텐츠를 더 소비하는지를 추적할 수 있나? 웹 컨텐츠 종류를 잡아내기 위해서는, 그리고 그런 웹 컨텐츠가 정말 정치성향과 맞물려있다는 결론을 내리기 위해서는 많은 사람들의 온라인 행동 패턴을 통해 “학습 (Learning)”한 모델이 있어야한다. 그게 개개인의 단독 데이터였다면 큰 쓸모가 없을 수도 있지만, 많은 숫자의 사람들의 데이터를 모으게 되면 유사한 그룹을 묶고, 그 그룹과 일치하는 성향을 찾아내는 작업이 가능해진다.
이래서 빅데이터를 통합지성 기반의 데이터라고 부르는 것이다.
(Source: Human Mind Project)
통합지성을 이용한 비지니스 모델 1 – SNS
회사 이름 pabii의 마지막 두 개 I는 Integrated Intelligence (통합지성)의 약어다. 개인에게는 단순한 경험적 지식이 서로서로 공유되면 집단의 경험으로 바뀌어서 다른 종류의 “지성”으로 바뀐다는 맥락이다. 다른 글에서 소개한대로, 교통 상황 실시간 업데이트를 보여주는 앱들이 모든 유저로부터 정보를 받고, 그 유저들의 위치와 움직임을 바탕으로 현재 교통 상황을 바로바로 보여줄 수 있는 서비스를 내놓고 있는게 딱 Integrated Intelligence의 좋은 예시라고 할 수 있다.
얼마전 비슷한 서비스를 우연히 알게 되었다. AroundUS (어라운드어스)라는 스타트업이다. 참고로 필자는 이 회사와 아무런 관련이 없다. 단지 검색 중 우연히 알게된 서비스임을 다시 한번 강조하고 시작한다.
서비스 내용은 간단하다. 프리랜서들이 경험했던 프로젝트들을 올려놓고, 서로가 서로에게 레퍼런스를 달아줄 수 있는 플랫폼이다. 보통 면접은 이력서 한 장으로 보지만, 구직시에 경력 증명을 위해서 건강보험 가입 증명서를 요구하기도 하고, 아는 사람을 건너건너서 이전 직장의 뒷 이야기 같은 정보를 구하려고들 한다. 그나마 큰 기업체들에서 장기 근속하신 분들에게는 이런 방식이 꽤나 유용하지만, 프리랜서들에게는 사실 좀 어려운 구석이 있었다.
이 서비스에서 Integrated Intelligence가 들어간 부분은 서로간 Cross-check을 해 주는 부분이다. 프리랜서 개발자 A가 2017년 상반기 6개월간 기업 B의 데이터 베이스 설계 작업 업무에 투입되었다고 해 보자. 그 때 같이 일했던 분들, 혹은 그 프로젝트 결과물을 바탕으로 다음 프로젝트를 진행했던 분들에게 분명히 개발자 A의 업무 퍼포먼스에 대한 정보가 있을 것이다. 업무 기간이 겹쳤다면 같이 일한거 맞다는 인증을 해주고, 일 잘하는 사람이었다면 “님 좀 짱짱맨” 같은 댓글도 달아줄 수 있단다.
이게 왜 Facebook, Instagram 같은 대형 SNS와 다르냐고 물어보니, 업무 관련해서, 특히 프리랜서들 대상으로 특화된 서비스라서 다르다고 하는데, 얼마나 다른지는 직접 관계자가 아니니 함부로 말할 수 없지만, 비지니스 모델을 보는 순간 딱 Integrated Intelligence가 눈에 보여서 소개해본다.
통합지성을 이용한 비지니스 모델 2 – 경험담 게시판
비슷한 종류의 서비스를 미국에서 본 적이 있다. 변호사, 회계사 등의 전문직 프리랜서들의 모임 페이지였는데, 그 웹페이지 상에서 서로 계약을 맺고, 비용정산을 다 해주고, 소비자들의 후기가 상세하게 적혀있더라. 그런 후기만 적혔으면 보통의 서비스 페이지에 불과했을텐데, 소비자들끼리 서로 대화도 나누고, 서비스 제공자들이 그 부분은 이해를 잘못했었다, 어떻게 해결하면 된다 등등의 “결합형 후기”가 계속해서 생성되는게 꽤나 놀라웠다.
전문직들도 영업을 직접 뛰러다니는 것보다 그런 플랫폼을 이용하는게 비용이 적게 들어서 좋고, 소비자들도 다양한 경험을 서로 공유하면서 계속 지식이 축적되니 전문직 프리랜서들의 고객응대가 더 좋아질 수 밖에 없는 구조였다. 예를들면, 변호사 1명이 자신의 Forum을 갖고 있고, 거기에 Thread 하나에 사건 하나씩 걸어놓으니 그 변호사에 대해서 궁금한 사람들, 혹은 그런 종류의 사건 해결 방식에 대해서 궁금한 사람들이 관심을 갖고 찾아갈 수 밖에 없는 형태의 정보가 축적되고 있었다. Forum과 Thread 형식의 게시판을 운영하는 영어권 커뮤니티들의 특징을 잘 살린 사례라고 생각한다. 우리나라에도 비슷한 시스템을 구축하면 참 좋을텐데, 게시판 형태가 다르니 약간 방식을 바꿔야할 것 같기는 하다. ㅎㅎ
실제로 머리 아픈 계약서를 쓰다가 이건 전문가의 손을 빌려야겠다는 생각에 변호사 친구한테 적합한 변호사 한 분 소개해달라는 부탁을 했더니,
“무조건 유명한 법무법인 출신이라고 해서 잘 하는 변호사 아닌건 알지? 니가 쓰는 계약서 관련해서 내가 아는 A급 전문가 소개시켜주면 되는거지?”
라고 하더라. 잘 모르는 외부인 입장에서야 단순하게 대형 로펌이 제일 좋지 않을까 생각했는데, 뒷 이야기를 들어보니 사정이 참 달랐다. 고액 수임을 하는 수요자 상당수가 기업체라서 변호사들 대상으로 한 저런 서비스가 한국에서 얼마나 유저 풀을 끌어모을 수 있을지는 모르겠지만, 친구의 말을 듣는 순간 예전에 봤던 영어권의 어느 게시판이, 그리고 Integrated Intelligence가 오버랩이 되더라.
변호사 한 명과 소비자 한 명간의 계약관계로 끝날 수도 있었던 비지니스를 온라인에 공유형으로 바꿔버리고, 모두가 그런 공유를 하면 서로에게 도움이 되는 정보로 바뀌는 것이다. 변호사 A가 변호사 B를 소개해주고 소개비를 받는게 불법으로 알고 있는데, 이렇게 경험 공유형 플랫폼을 쓰면 법적인 이슈도 덩달아 해결되지 않을까? (물론 불평불만 댓글에 소송하실 변호사 님도 있을 것 같아서 현실화하기는 좀 어려울지도 모르겠다 ㅋㅋ)
(Source: Victoria Prooday)
통합지성을 이용한 비지니스 모델 3 – 개인맞춤형 서비스
요즘 여러 회사들이 경쟁적으로 시도하고 있는 “개인맞춤형 서비스”들도 모델링 방식에 따라 Integrated Intelligence에 기반할 수 있다. 기존의 고객관리 (CRM)은 고객 A가 뭘 많이 했으니, 고객 집단 B가 뭘 많이 할 것 같으니 그에 맞춰서 마케팅 비용을 쓰자는 방식으로 진행되었다. 여기에 머신러닝 방법론이 도입되면서, 좀 더 세분화된 패턴 매칭이 가능해졌고 (Recommendation Engine, 장바구니 분석 등등), 고객 X, Y, Z가 했던 것과 비슷한 행동을 취하고 있는 고객 M이 곧 고객 X, Y, Z와 같은 결론을 내릴 것이라는 판단아래 선제적인 대응을 할 수 있게 되었다. 기존의 고객 X, Y, Z의 행동 패턴 기록은 각각만 놓고보면 단순한 CRM 데이터 포인트에 불과하지만, 모두를 모아놓고 보면 Integrated Intelligence 서비스가 된다.
주의 사항을 몇 개 던지자면, 꼭 고객 X, Y, Z, M이 같은 성별, 같은 연령대, 같은 지역 사람일 이유는 없다. 기존의 CRM은 행동 패턴 데이터를 DB에 쌓아놓고 이런 패턴 매칭 작업을 하지 않았기 때문에, 인구통계학적인 정보들에 의존하는 경우가 많았다. 꼭 인구통계학적 정보를 쓰는게 구시대적이고 틀렸다고 생각하지는 않지만, 나이, 성별, 지역 같은 내용에 국한되지 않는 개개인의 특성들을 행동으로 잡아낼 수 있으면 굳이 그런 정보에 의지할 필요가 없는 것이다.
실제로 온라인 쇼핑몰 운영하는 기업들에 강의를 나가보면,
“이번에 출시되는 갤X시 노X 구매할 사람들을 찾으려고 하는데, 무슨 특징을 기반으로 골라내야할까요?”
“무조건 특정 연령, 성별, 지역 같은 정보로 구분하는건 이런 상품 살 것 같은 사람 골라내는데는 별로 의미 없지 않나요?”
같은 종류의 질문을 자주 받게 된다.
파비의 사업 모델도 마찬가지다. 이용자의 인구통계학적 데이터나 가장 최근에 어떤 쇼핑몰의 무슨 상품을 봤는지를 이용하는 개인맞춤형이 아니라, 유저 A가 어떤 타입의 사람인지 다른 유저들과의 비교 나열하고, 그에 따라 적절한 광고 매칭을 해주는 서비스다. 개인맞춤형 서비스가 인구통계학적 타게팅에서 지면 콘텐츠에 맞춘 타게팅으로, 그리고 구매를 유도하는 행동 타게팅으로 진화하고 있는데, 한발 더 나가서 개인의 특성을 잡아내는 (Psychographic) 타게팅을 하는 방식으로 Integrated Intelligence를 쓰는 레벨이 점점 더 올라가고 있다.
(Source: Mind Futures)
나가며 – 빅데이터 as in 통합지성
최근에 위의 댓글을 봤다.
빅데이터에 대해 모두에게 공통적으로 받아들여지는 정의가 없는 상황이고, 누구나 자신만의 정의를 가질 수 있기 때문에 틀렸다고 하지는 않겠다. 다만 저런 정의로는 요즘의 “빅데이터”가 이전 시절의 “스몰데이터”에 비해서 특별히 다른 통계툴을 써야할 이유가 없다. 마찬가지의 맥락에서 집단의 행동특성을 잡아내는 작업을 “분석”이라고 부르는 것도 기존의 데이터 “분석”하는 작업의 구태에서 벗어나지 못했기 때문에 나오는 정의가 아닐까 싶다.
빅데이터는 통합지성을 활용할 수 있는 형태의 데이터, 많은 수의 사람들이 보여주는 행동패턴을 담은 데이터라는 관점에서 바라보면, 데이터를 더 이상 “분석”한다는 표현을 쓰기가 어렵게 된다. 타입 A는 결론 C를, 타입 B는 결론 D를 낸다는 이야기를 하는데서 그치는게 아니라, A-B-C-D 체인과 B-C-D-A 체인간의 차이에서 나오는 결과값과 X-Y-Z-M 체인과 Y-Z-M-X 체인간의 차이에서 나오는 값들이 전체 큰 그림에서 티끌만한 일부의 영역인 데이터를 “분석”으로 접근하기에는 어렵지 않을까 싶다. 이래서 더 높은 차원의 모델링이라는 개념이 들어오는 것이다.
가끔 “이런 데이터 어쩌고, 인공지능 어쩌고 하는 이야기들이 그냥 트렌드 용어가 아니라 정말 10년, 20년 후에도 쓰일만한 지식인가요?”라고 묻는 분들이 있다. 집단지성 vs. 통합지성, 대용량 데이터 vs. 행동패턴 데이터, 분석 vs. 모델링 같은 관점에서 바라보면, “코드만 카피하시는 분들께는 아니겠지만, 기초지식을 탄탄히 하시는 분들은 10년, 20년 후가 아니라 그 이후에도 계속 같은 지식을 쓰실 수 있을 겁니다”라고 대답하겠다.
공지1: 2019년 3월 29일을 끝으로 데이터 사이언스 주제의 포스팅은 종료됩니다. 이 후에는 파비의 스타트업 운영 관계된 포스팅만 월 1회 작성됩니다.
공지2: 위와 같은날을 기준으로 댓글을 모두 삭제합니다. 추후에는 댓글 서비스를 제공하지 않습니다.
