[공지] MBA AI/BigData 3rd term 문제 공개 – 비지니스와 AI 연계란?

---

위는 우리 SIAI의 AI in Digital Marketing 수업에서 나눠 준 조별과제 3개 중 하나의 일부다.

 

간단 문제 해설

위의 문제는 Last Touch Attribution 밖에 모르는 국내 대부분의 짝퉁 마케팅 전문가들에 대한 분노에서 출발했다.

온라인 쇼핑몰 기준으로, 어떤 상품 구매 직전의 마지막 마케팅 채널(Last Touch)만 의미있고, 그 이전 홍보 채널의 효과를 측정할 수 없다고 주장하는,

국내 거의 대부분의 마케팅 시장 “갑”질 대마왕들을 수백번도 더 봤던 경험을 기반으로 나온 문제다.

 

쉽게 생각하면, 아이 장난감 구매 버튼 누르기 직전에, 가격 검색을 해 보는게 당연할텐데,

가격 검색 페이지만 광고 효과가 있고, 그 이전에 장난감 홍보에 들어갔던 수 많은 광고 채널들의

(블로그, YouTube 같은 온라인 채널부터, 가끔씩 싸게 팔며 입소문 내던 홈쇼핑 같은 오프라인 채널까지)

효과 따위는 고려하지 않겠다는 분들의 잘못된 생각을 지적하기 위해 만든 문제라고 보면 된다.

 

그들의 주장대로라면 그럼 중간 채널 광고는 Attribution (기여도?)를 하나도 주장할 수 없다는 맹점이 생기는데,

마케팅 비용 절감하려고 바보인체하며 “갑”질 하는걸 모르는 건 아니지만,

세일즈 팀한테 전해 들을 때마다 정말 어이가 없었던 적이 한 두번이 아니었다.

괜히 그들을 “오스트랄로 피테쿠스”라고 뒷다마 까는게 아니다.

(제일 왼쪽에 있는 유인원의 공식 학명은 Australo Pithecus다. “남방의 원숭이”라는 뜻이다.)

 

이미 영미권에서는 web tracker로 유저들의 온라인 행동을 추적할 수 있게 된 이래 10년 남짓의 기간동안,

구매에 이르는 모든 행동들을 Multi Touch Attribution 모델을 이용해서 “합리적”인 잣대로

마케팅 채널별 기여도를 평가하려는 모델들이 나오고 있고, 글을 쓰는 이 시점에도 몇몇 회사들은 검증을 해 보고 있다.

어차피 이런 데이터는 one-size-fits-all solution이 없기 때문에, 일반화된 1개 모델은 쉽지 않고, 여러 도전이 한동안은 나오겠지.

(경험으로 봤을 때, 아마 오스트랄로 피테쿠스들은 모든 사람이 다 쓰는 통일된 모델이 나오기 전까지는 그런건 필요없다고 우기기만 할 것이다.)

 

거기에 맞춰서, 우리 MBA 학생들이 그간 배워온 지식을 활용할 수 있는 2개의 쉬운 모델을 수업 중에 소개했다.

Shapley value 기반 모델을 minimal sub-game으로 쪼개서 for-loop 같은 반복 코드로 계산이 가능해진 모델 하나와,

Network theory가 적용될 수 있도록 데이터 형태를 network 구조로 변형하고, 거기에 몇 가지 centrality 계산을 얹는 모델.

 

위의 문제를 풀면서, 두 모델들의 장단점, 필요한 용도 같은걸 이해하고, 자기들 나름대로 결론을 얻어내면

아마 국내 마케팅 회사에 있는 어지간한 Data Scientist들 보다 월등하게 뛰어난 실력자로 성장하게 될 것이다.

 

한국엔 풀 수 있는 Data Scientist가 없는 문제(?)

좌절했을지도 모르는 분들을 위해 위로(?)를 전하면, 한국 땅의 “Data Scientist”라는 타이틀을 가진 분들 중에,

위의 문제를 내 기준 Pass (or C-)인 50/100점 이상 줄 수 있는 답안지를 만들어 올 수 있는 분들이 10명이 안 될 것이다.

10명? 어쩌면 1명도 없을 수도 있다.

그 전에 소비해줄 수 있는 고객사가 아예 없을 것 같다. (라고 어느 마케팅 업계 짬밥 20년인 분이 그러시더라.)

 

도메인이 딱 맞는 마케팅 회사 다니는 Data Scientist라면, 그쪽 전문가들이라면 다르지 않냐고?

글쎄다.

Data Scientist가 아니라, CS나 Marketing 교수들 데리고 와도 난색을 표할 것이라고 본다.

역시 큰 회사 CMO들이라도 이런 거 해봐야 별 소용없다는 핑계를 대며 뚱~ 한 표정을 지을 것이다.

(라고 저 위의 마케팅 업계 짬밥 20년인 분이 그러시더라.)

 

“딥러닝’만’ 배우고 싶은데요?” (링크) 라는 글에서 소개했던,

(다른 수업들은 어차피 못 알아들을테니) 의료AI수업만 들으면 안 되겠냐던 어느 의대생에게도 저 문제를 바친다.

비슷한 문제를 풀 수 있는 능력을 기르려면, 기초부터 탄탄하게 훈련을 쌓아야한다는 측면에서,

아마 의료AI 수업을 만든다고 해도 역시 상황은 다르지 않을 것이기 때문이다.

 

위의 문제 응용 – 인사관리? 회귀분석? 설명 모델?

사실 위의 Attribution (기여도) 아이디어를 비지니스에 가장 먼저 적용한 곳은 (내 짧은 지식으로는) 인사 업무쪽이다.

아마 좀 인사 컨설팅으로 수준 높은 서비스를 공급하는 회사를 만나면,

여러 사람이 모여서 하나의 결과물을 만들어 냈을 때, 각각의 구성원들에게 얼마만큼의 기여도를 인정해줘야,

그 다음 프로젝트에 누군가는 보상 못 받아서 억울하다는 소리 안 하고, 또 누군가는 꿀 빨았다고 좋아하는 일이 없을지,

고민을 (최소한 학문적으로는) 해결해주는 모델을 보여주는 일을 겪을 수 있을 것이다.

(국내 기업들에 그 정도 논리적인 결과물을 이해하는 인력이 있을 것이라고 생각하기는 어렵다는 경험이 쌓여있기는 하다.)

 

그런 HR (Human Resource)쪽 업무에 제대로 저 아이디어를 활용하는 회사들은,

단순히 Peer evaluation을 해서, 고과 평가를 해서 등등으로 끝나지 않고,

팀 워크 중에 시너지를 더 많이 만들어 낸 인력에 대한 평가까지 고민하고 있다는 사례를 몇 차례 전해들은 적이 있는데,

위의 수업 과제도 같은 포인트를 그대로 광고 채널이라는데 적용하면 맞아들어가겠다는 생각에서 만든 문제다.

(나와 비슷한 생각을 한 수 많은 논문들이 이미 나와 있음을 확인할 수 있을 것이다. Google Scholar 링크 참조)

 

다시 말하면, 기본적인 수학 모델은, 추상화가 잘 된 모델이라는 전제 아래, 그 모델을 제대로 이해하고만 있어도,

인간 사회의 수 많은 곳에 적용할 수 있게 된다.

인사 팀이 시너지를 포함한 고과 평가에 쓰는 저 모델이, 광고 채널 별로 효과를 제대로 평가하는데도 쓰이고,

비슷한 관점으로 원인 N개 – 결과 1개인 경우, 그런데 단순 회귀분석으로 처리할 수 없는 모든 경우에 쓰일 수 있다.

 

DNN 마니악들 or 통계 문맹들에게

DNN마니악들은 그냥 딥러닝 돌리면 되지 않나요? 라고 생각하고 아예 읽지도 않았을 것 같은데,

DNN은 Non-linear pattern matching을 위해 선형 회귀분석 식을 변형 시킨 것에 불과하다.

위의 Attribution 문제를 풀어내는 용도로 쓰려면, 모든 목적과 데이터 셋에 각각 맞는 DNN을 하나씩 다 만들어야 될 것이다.

그리고 목적과 데이터 셋 중 어느 한 쪽이라도 바뀌면 DNN으로 만든 모델을 일반화 시키기는 쉽지 않을 것이다.

저건 추상화 시킨 일반 모델이 필요하지, DNN처럼 특정 상황에 Fit이 잘 맞는 모델이 필요한 주제가 아니거든.

(그러니까 자연어, 이미지 같은 반복형 데이터에서만 DNN이 유의미하다고 계속 반복해서 이야길 하는거고.)

 

명문대학들이 홍보 차원에서 공개해놓은 몇몇 “Machine Learning”, “Artificial Intelligence” 같은 수업 동영상을 보고는,

이제 필요한 지식을 다 얻었으니 더 이상 인공지능을 공부할 필요가 없다고 착각하는 오만한 초짜들과,

아예 그런 동영상이 무슨 말인지 알 필요도 없고, Library만 구해와서 코드 복붙하고 이것저것 눌러보면 된다고 생각하는 꽉막힌 답답이들

양쪽 모두에게도 비슷한 말을 하고 싶다.

 

이쪽 학문이 학부 저학년 수학, 통계학을 주춧돌로 삼아, 지난 수십년, 아니 수백년간 쌓아올린 고급 수학, 통계학을 기둥으로 얹고,

그런 기둥 위에 속칭 “Artificial Intelligence”라고 불리는 응용계산법을 지붕으로 얹어놓은 지식이다.

다양한 학문들이 자기들만의 지붕을 얹어놨기 때문에, DNN마니악들 눈에는 다르게 보이겠지만,

지붕이라는 껍데기를 벗겨놓고나면 사실 건물이라는게 크게 차이가 날 이유가 없다.

그런 건물에 대한 지식 하나도 없이, 단순하게 지붕만 보고나면 그 건물을 지을 수 있나?

주춧돌 까는 법도 모르는데 건물 짓는걸 어떻게 이해하려고? 이해 못하는게 당연하지 않나?

 

기초 수학, 통계학을 이해하고, 그 지식을 응용하는 또 다른 수학 모델들을 최대한 직관적으로 이해한 다음,

직관을 눈 앞에 주어진 현실의 문제를 풀어내는 경험치를 쌓는 훈련을 몇몇 주제에 대해서 거치고 나면,

세상을 보는 눈, 아니 데이터를 응용하는 눈이 달라지게 된다.

 

수학 모델 이해 = 외계어문학의 영어/한국어 번역

우리 신입생들이 매번 걱정하는게, 수학을 하나도 모르는데 이런 엄청난 학위 과정을 어떻게 따라가느냐인데,

수학이 복잡한 수식을 풀어나가는 과정이 아니라 “언어”를 다르게 표현하는 방식,

아니, 수학 = (사실상) “외계어문학” 이라는걸 깨닫고 나면, (Such as 영어영문학, 국어국문학…)

수학 슈퍼 천재가 아닌 평범한 일반인들이 뭉친 MBA AI/BigData 에서도

“영어/한국어로 번역된 외계어문학”만 이해하고나면 이런 문제를 충분히 도전할 수 있게 된다.

번역을 다 해서, 반복 학습으로 이해도가 높아지면서 사고 체계의 흐름, 생각하는 힘을 길렀기 때문이다.

(물론 신들의 영역 급에 속하는 엄청난 수학을 말하는게 아니라, 우리 같은 일반인들이 활용하는 수학을 이야기하고 있다.)

 

우리 조교들이 채점하다가 막 놀란다. “대표님, 5점 만점에 5점 받는 학생들이 이번 Term에 엄청 늘었어요!!”

그 분들 학부 전공을 보면 내가 대학 학부 학위 취급도 안 해주던 경영학과도 있다. 1명도 아니고 여러 명이다.

다들 학부 전공의 굴레를 몇 달 만에 벗어던지고 “외계어”의 문법과 스타일을 이제 좀 깨우쳤다는 뜻이겠지ㅋ

교육의 효과를 보는 것 같아서 뿌듯하다ㅋ

 

저 위의 모델들은 만들어 써 보면 알겠지만, 남이 만든 코드 복붙한다고 문제가 뚝딱 해결되지 않는다.

모든 데이터 셋과 목적에 맞는 완벽한 모델은 없거든.

 

반대로 그런 훈련이 안 되어 있으면, 어느 모델을 어디에 갖다 쓰면 된다는 식의 단순한 y=f(x) 함수 밖에 모르는 바보로 살게 된다.

그리고 미안하지만, 단순 y=f(x)는 정말로 AI로, 아니 AI가 아니라 평범한 If/Then 과 For-Loop을 엮은 자동화 알고리즘으로 대체 가능하다.

 

평범한 코드 몇 줄로 대체되는 인생을 살래,

번역한 내용을 응용할 수 있는 센스쟁이로 살래?