진로 상담 in Data Science
학부 4학년 1학기 무렵으로 기억한다. 고교시절부터 오직 Finance에만 관심을 갖고, 언젠가는 한국에 IMF 구제금융 쇼크를 날린 유태계 자본들을 갖고노는 월가 최고의 거물이 되겠다던 부질없는 망상만 갖고 대학과 전공을 정해서 열심히 살던 시절이다. 3학년 때 한국고등교육재단 (SK그룹 산하)의 경제학 전공 장학생으로 선발되고, 그 학생들을 지도(?)해주셨던 경제학과 교수님께 진로 상담차 30분 정도만 시간을 내 주시면 안 되겠냐고 부탁을 드렸다.
보통 교수님께 메일을 보내서 답을 받은 적이 거의 없었던 터라 일말의 기대도 없었는데 (항상 여자애들한테는 시간이 많으시던 교수님들….), 장학재단 이름을 들먹여서인지 용케 시간을 내주신다는 답변을 받았다. 감사한 마음에 큰 기대를 갖고 찾아뵈었는데, 며칠 밤을 샌 것 같은 피로에 쩔은 표정으로 키보드를 열심히 두들기면서 필자의 고민에 아주 짧은 답변을 주셨던 기억이 난다.
금융시장에서 채권을 re-financing하는 쪽 비지니스, 혹은 그런 채권들을 rating 해주는 비지니스를 목표로 커리어를 잡으면 어떨까는 질문을 드렸는데, 학부 4학년이 목표로 하기에는 너무 범위가 좁으니 시장을 좀 더 크게보라는, 대략 15초 정도가 걸린 아주아주 짧은 답변을 들었다.
당시에는 매우 짧은 답변에 좀 섭섭했던 기억이 있는데, 투자은행가로 첫 직장 생활을 하면서, 나중에는 대학원 수업을 듣고 교수님들 따라 연구 프로젝트차 미국의 큰 기업들을 보면서 왜 그 때 교수님이 그런 말씀을 해 주셨는지 가슴 깊숙한 곳에서부터 공감을 할 수 있었다.
금융시장에서 채권 rating 하는 자리에 있는 사람들이 시장에서 받는 대접, Financing 소스 중 금융시장이 위기에 직면할 때만 제외하면 가장 저평가 받는 상품이라는 시장의 분위기, rating이라는 작업 자체가 심하게 보수적인 저난이도 작업이라는 것 등등을 학부 4학년의 코흘리개에게 상세하게 설명해줄 교수가 과연 얼마나 있을까? 그전에 코흘리개들이 들어도 이해할 수 있을까?
진로상담? 수학 수업 상담?
요즘 진로 상담을 원한다는 메일을 꽤나 받는다. 그리고 많은 수의 질문자들이 “문과” 출신이고, “문과” 출신인 티가 나는 질문을 한다.
- 선형대수는 챕터 몇몇만 보면 되나요?
- 미분방정식을 다 알아야 하나요?
- 선대, 미방 동영상 강좌 링크를 걸어놨으니 (좋은 수업인지) 한번 봐 주세요
좀 미안한 말인데, 이런 질문을 받으면 대답을 안 해주고 싶다. 이과 애들은 저학년 때 저 과목들을 한 학기동안 들으면서 매주 숙제하느라 꽤나 고생했을 과목들인데, 그렇게 숙제하면서 & 시험 준비하면서 문제 풀이와 증명의 개념을 “손”(Not “머리”)에 익혔을텐데, “얍샵”하게 동영상 강의 하나만 보면, 챕터 몇 개만 휙휙보면 다 이해할 수 있을것이라는 기대를 담은 질문 같아 보인다. (문과 과목들은 그런 경우가 꽤나 있으니까)
머리를 쥐어 뜯으며 박사 커리큘럼까지 공부했던 필자도 헷지펀드 퀀트나 IT회사들 데이터 사이언티스트 면접볼 때 가끔 못 봤던 방식으로 선형대수와 미분방정식을 쓰는 걸 보고 충격먹고 다시 책을 펴는 일이 꽤나 있었는데, 저 과목들로 숙제 한 번도 안 낸 “주제에” 어떻게든 쉽게 공부하겠다는 약은 술수가 보여서 얼굴을 찌푸리게 된다.
필자가 학부 시절에 교수님들께 메일 답장을 못 받았던게 같은 이유가 아니었을까 조심스레 자문해보고 싶은 순간들이다.
지식이 없어서 못 할테니 포기해라는 말을 해 주고 싶은 건 둘째 문제고, 태도부터 바꾸라고 일침을 놔주고 싶을 때가 많다.
(Source: MBC)
뼈를 때리는 팩폭
더 솔직히 말하면, 그런 자세로는 어차피 공부해도 데이터 사이언티스트 되기 어려우실테니 포기하라고 말해주고 싶다. 고교시절부터 수학 공부 어떻게 해야하냐고 묻는 친구치고 수학 잘하게 된 친구는 하나도 없었던 경험에 미뤄볼 때… 선대나 미방같은 기초 수학 수업을 들은적이 없는 사람이 머리 회전이 가장 빠를 학부 새내기 시절도 아니고 직장 생활하면서 깊이 있게 이해하기는 좀 어렵지 않을까? 당장 손으로 꼼꼼하게 문제들을 풀이할 시간도 찾기 어려울 것이다. 비디오 동영상이나 제대로 보시기는 할지… 그런 분들에게 냉정하게 제일 가능성이 높은 직장은 수학 없이 그래프로 Business Insight를 뽑아내는 Data Analyst다.
어떤 메일에는 자기는 문과 출신이지만 Business Intelligence (BI, Data Analyst의 옛 명칭)는 향후 비전이 없어보여서 하고 싶지 않고, Data Scientist를 하고 싶다면서, 저 위에 예시를 들어놓은 질문을 하셨더라. 욕심은 Quantitative 박사들이 할 일에 맞춰져 있는데, Quantitative 학부 전공자들이 저학년 때 기초로 배웠던 과목 조차도 “스리슬쩍” or “대충” 넘어가도 되겠지라는 안이한 마인드라는 말로 해석이 된다.
사실 그런 기초 과목에 선생님이 누구인가가 무슨 큰 의미가 있나? 아주 대단히 직관을 갖추신 분들이 있겠지만, 내용을 하나도 모르는데 직관만 받아서 어떻게 그 지식들을 하나의 묶음으로 묶어낼 수 있을까? 누구 강의를 봐야되나, 무슨 챕터를 봐야되나는 질문에 아래의 한 문장으로 답하겠다.
“교과서에 있는 증명들 다 증명해보고, 문제들 다 풀어보고 난 다음에 다시 질문해주시기 바랍니다.”
진짜 진로 상담
본인이 아주 뛰어나고 여러가지 경험이 쌓인 특이한 케이스가 아니라면 Data Scientist라는 직업을 고용주들이 학부 출신들에게 주지 않을 것이다. 특히 통계학이나 Computer Science (Not Computer Engineering)로 단단하게 준비가 안 된 비전공자들은 어렵다고 본다. 수업에 오시는 고학력 학위자들 (ex. 통계학 석사, 경제학/공학 석/박사 등)이 무리없이 이해하고 있는 표정들, 그런 이해가 스며나오는 질문들을 접하면서, 이 직업의 학력 기준 “최소 사양”이 잡히더라.
필자가 Data Scientist 팀을 구성하게 된다면 Quantitative 전공으로 석사 이상의 학위를 가진 분들 중에, 필자가 내는 “수학”적인 “통계학” 문제를 “코드”로 구현해낸 결과물로 1차 스크리닝을 할 것이다. (생각해보니 실리콘 밸리에서 잡서칭하던 시절에 겪었던 모든 면접이 이랬다 ㅋ)
무사히 통과한 후보들이 정말 자기가 친 코드를 제출했는지 확인하기 위해서 답안에 등장한 “수학”적인 “통계학” 질문 폭탄을 던지고, 제대로 대답하는 분들만 고려대상으로 삼고 싶다. (이것도 필자가 겪은 면접들이다 ㅋㅋ)
강의 시간에 질문들의 수준을 감안해봤을 때, 필자의 질문을 통과하실려면 학부 전공만으로는 쉽지 않을 것이다. 아래의 예시를 보라.
두 개의 그래프를 놓고 L1, L2 Regularization간 Parameter Sparcity에 대해서 설명하실 수 있는 분? 통계학 학부 출신이신 분이 수학 & 통계학 수업에 왔다가 했던 질문을 약간 변형시킨 내용이다. (굳이 따지자면, 그래프를 그려줬으니 힌트를 준 셈이다. 참고로 질문하신 분은 Ridge, Lasso의 Regularization 작동 방식에 대한 질문을 하시면서 저 위의 그래프를 그리셨다.) 이 질문을 받고 정말로 학부만 하신 분인지 한번 되물어 봤었다. 대답을 아시는 분, 그리고 유사한 수준의 문제에 대답을 하실 수 있을만큼 “수학”적인 “통계학” 지식이 있으신 분은 Data Scientist 면접을 볼 자격이 있다고 생각한다.
아니라면? 글쎄, 잘 모르겠다.
나가며 – EE의 관점 vs. DS의 관점
며칠 전 전기 공학 전공의 교수님을 만났다. 가까운 지인을 통해 만난 탓에 사업 이야기, 교육 이야기 등등 여러 이야기를 나눴는데, 굉장히 겸손하게 머신러닝, 딥러닝 같은 부분은 전공하신 교수님과 같이 팀을 이뤄서 논문을 쓰거나 프로젝트를 진행한다고, 본인은 나와있는 모듈들을 활용하는 수준으로 밖에 모른다고 하시더라. 겸양이기도 하겠지만, 다른 한편으로는 솔직한 증언이 아닐까 싶다. EE 쪽 전공은 분야도 다르고, 필자가 강조하는 수학 & 통계학을 교육과정에서 무겁게 다루지도 않는다. 학부-대학원 간 “언어”(Read 수학)적인 장벽이 없다는 뜻이다. 그렇다보니 학부생이 대학원 주제에 도전하는 일을 꽤나 볼 수 있단다. (경제학부 4학년이 대학원 수준의 모델링 스킬을 갖춘 경우가 과연 얼마나 될까?)
진로 상담을 원한다는 메일을 쓰시는 분들 중에 많은 분들이 그냥 나와있는 모듈을 쓰면 되는데 왜 수학과 통계학 훈련을 받아야되고, 석사, 박사 학위가 필요한 것처럼 주장하느냐고 묻는다. 왜냐고? 필자는 그냥 갖다 쓰는 사람이 아니니까. 그걸 갖다 쓰는 수준의 단순한 이미지 인식이나 언어처리에 별로 관심이 없으니까. 그건 Data Science (DS)가 아니니까. 그걸로는 새로운 문제들을 해결할 수 없으니까. 모듈의 API도 바꿀 수 없을테니까. 여긴 EE의 영역이 아니니까.
Reinforcement learning 모델을 이용해야하는 문제, 그 때 Bellman equation을 어떻게 이용해서, State variable들을 어떻게 조합해서 풀어야할지 꽤나 무게있게 느껴지는 프로젝트를 제안한 회사가 있었다. 이런 엄청난 도전을 EE 학부 출신에게 혼자 힘으로 모델을 만들고 풀어내라고 시켰다고 하더라. 위의 EE 교수님 덕분에 왜 개발자가 이걸 할 수 있을 것이라고 생각하는 사람들이 우리나라 IT 업계에 잔뜩 있는지, 왜 개발자 그룹이 필자의 데이터 사이언스 수업을 따라오지 못하는지, 왜 그들이 석, 박 학위에 큰 존경을 안 하는지, 왜 그들 중 일부는 심지어 마이스터 고교 출신인지, 왜 기업들이 그런 개발자들에게 머신러닝 “코딩” 교육을 시키면 된다고 생각하는지, 참 많은 것들을 이해하게 되었다.
저 위의 Data Scientist 면접 문제를 풀 수 있는 EE가 있을까?
