Global MBA 교육 방식 – Essay 기반 평가란?

Global MBA 라는 이름의 교육 프로그램을 추가하면서 수 많은 고민이 있었는데,

가장 괴로웠던 부분이 아래 2가지의 조합이었다

• MBA AI/BigData에서 쫓겨 내려가는 학생들이 ‘같은 내용을 공부라도 할 수 있는’ 학습권 보장
• 낙오하는 학생들이 최소화 되면서, 동시에 돈 값하는 공부

 

첫번째 포인트는 ‘너네가 공부 안 했으니 쫓겨 내려가는거다’라고 하면 할 말은 없는데,

그래도 공부할려고 큰 마음 먹고 온 애들한테 ‘너네 못 하니까 나가라’고 하는게 너무 마음이 괴로워서였고,

두번째 포인트는, 그래서 너무 쉽게, 아무데서나 배울 교육을 할 거면 뭐하러 학교 만드나, 나도 학위 장사꾼 되는거지… 라는 괴로움의 반영이다.

 

Global MBA는 일단 아래의 방식으로 2개 문제를 해결하려고 한다

Exam track과 Essay track으로 나눠서, Exam track은 기존의 AI/BigData와 같은 방식으로 운영하고,

Essay track은 그런 시험을 칠 역량이 안 되는 (아마 거의 대부분의) 학생들을 위한 방식이다.

시험 대신 Pass/Fail로 결정나는 Essay를 제출하면 된다.

그럼 Essay 내용은 어떻게 구성해야 하나?

 

일단 아래의 문제 예시들을 보자. (스압주의)

 

위의 3문제는 우리 SIAI의 가장 기초 수업 중 하나인 Data-based Decision Making이라는 수업의 시험 문제 1번들이다.

지금까지 총 3번의 시험을 치렀고, 3번 다 거의 같은 문제처럼 보이지만, 셋팅이 바뀌면서 문제 풀이 방식이 상당히 바뀐 문제들이다.

이렇게 바뀐 문제들을 다 풀어라는게 Global MBA냐? 음… 일단 하나씩 짚어보자.

 

현재까지 MBA AI/BigData에서 치뤘던 시험 방식

저 작은 10개의 문제가 들어가 있는 큰 1번 문제를 푸는데 1시간을 준다.

논문 하나를 요약 정리한 시험이기 때문에, 사실상 보자마자 바로 1시간 이내에 풀 수 있는 사람은 없을 것이다.

문제 출제자인 나 자신이 최소한 반나절은 써야하는 문제고, 그 전에 머리 속으로 오랜 시간 생각을 했었다.

절대로 간단하게 풀 수 있는 문제가 아닌만큼, 유사한 문제들을 수업 시간에 여러 번 풀어준다.

 

비슷한 문제를 반복 숙달해서 계속계속계속계속 풀다보면, 저 문제 스타일로 생각하는 방식이 몸에 밸 것이다.

그 정도쯤 되면 위의 3가지 방식처럼 문제 셋팅이 바뀌더라도 유형에 적응이 됐으니 잘 할 수 있어야 한다.

 

물론, 현실은…..

공부할 시간도 많지 않고, 보통은 역량이 부족하기 때문에 아무리 많이 풀어줘도 그걸 다 이해하기 쉽지 않다.

제대로 못 푸는게 정상이다.

당신들이 ㅎㄷㄷ 이라고 생각하는 인류 최상위 두뇌를 가진 사람들 중에 연구 짬이 10년, 20년 씩 되는 분들께서

아직 그런 짬을 덜 먹은 사람들을 2-3년씩 괴롭혀가며 나온 논문, 즉 생각의 Frame이다.

이걸 아무리 템플릿을 짜 준다고해도 무슨 토익시험 기출유형 외우듯이 뚝딱~! 이해하는건 불가능에 가깝다.

 

결국 거의 똑같은 문제를 출제해도 셋팅이 약간 바뀌는거에 맞춰 배운 내용들을 살짝살짝 바꿔서 답안지를 만들어내는게

1시간 동안 뜻대로 잘 되지 않고, 100점 만점에 50점만 넘겨도 살았다 휴~ 를 내뱉게 된다.

이렇게 계속 콘텐츠를 때려부으며 더 높은 레벨의 지식을 익히다보면,

언젠가 이런 사고가 자기 것이 된다.

 

이게 영미권 최상위권 대학들에서 자기네 나라의 슈퍼 인재를 길러내는 방식이다.

우리나라에서는? 운이 정말로 좋지 않았다면 그 어떤 곳에서도 그런 교육을 받았을 리 없다.

우리나라는 학원가에서 알려주는 ‘꼼수’를 빨리 익혀서 점수를 잘 받아 서열의 1등으로 올라가는 걸 목표로 하는 교육 시스템을 갖고 있지,

사고력을 훈련시키고 지식을 내공화 해 주는 교육을 할 수 있는 교사, 교수 자체를 아예 확보하고 있질 않다.

드물게 그런 분들이 있지만, 그렇게 교육하면, ‘잘 가르치면 학생들이 안 오죠’가 된다.

 

우리 Global MBA의 교육 방식

어차피 ‘잘 가르치면 학생들이 안 오죠’를 아주 충실히 겪고 있기 때문에ㅋㅋ 굳이 많은 학생을 모으는 것에 목을 매지 않는다.

퀄리티를 낮춰서 ‘널럴한’ 교육을 하는 걸로 타협을 하는 방식이 아니라, 그래도 우리 SIAI의 ‘핵심’은 유지해야하니,

‘논리’를 따라오면 살아남을 수 있도록 교육 방식, 아니 이해도 평가 방식을 아래와 같이 변경해봤다.

 

바뀐 평가 방식 (Essay 방식)을 이해하기 위해, 일단 아래의 셋팅을 먼저 따라가보자.

위의 3문제를 100번쯤 읽어보면 (사실 그 전에), 3개 다 거의 같은 문제라는 게 눈에 보일 것이다.

셋 모두 어떤 사건들을 Cobb-Douglas 함수라는 사고의 Frame 안에 집어넣고, 그걸 회귀분석으로 풀어낸 것이다.

단지 그 회귀분석 안에는 국내 학부 2학년 수준의 단순한 OLS 계산 (행시 통계학 기출 문제에 보이는 수준)이 아니라,

영국 학부 2학년 (미국 학부 3학년) 수준의, 각종 OLS 변형들이 모두 포함되어 있다.

국내에서는 엄청 빡세게 가르치는 대학원을 가야 배운다. 거의 없을듯

그러니까 엄청 어렵게 느껴지겠지.

 

또 하나, 저 문제들을 읽어보면, 뭔가 회사의 속사정을 좀 알 수 있을법한 ‘이야기’가 숨어 있다는 걸 느낄 수 있을 것이다.

셋 모두 주변에서, 혹은 우리 회사 운영 중에 겪었던 내용들을 문제화 했다.

아니 저 세 문제 뿐만 아니라, 우리 SIAI의 모든 기출문제는 내 주변에서 보고, 듣고, 겪고, 당한(?) 일들을,

그 학기에 배운 생각의 Frame들과 묶어내는 문제들이다.

실제로 회사에서 ‘김 팀장님이 Data Science 석사 하셨으니까 이거 데이터로 해답 찾아주실 수 있죠?’ 같은 깝깝한 업무지시 들을 때,

자기 방식으로 생각이 정리되는데 활용되는 생각의 Frame이 되라고 이렇게 현실과 엮어내는 문제를 만든다.

자꾸 보다보면 저렇게 생각의 Frame이랑 엮어서 문제를 풀어내는게 가능하구나~ 는 생각을 할 수 있겠지.

 

예를 들면, 100개 데이터 중에 30개가 날라갔는데, 망했다!! 이걸 어떻게 처리할까? 라는 문제에서,

• 30개를 야매로 대충 채워넣는다
• 70개만으로 작업을 진행한다

같은 단순한 꼼수로 문제를 감추려고만 드는 것이 아니라, 수업에서 배운 Frame을 써 보자는 거다.

• 변수를 버리게 되면 Omitted variable bias가 생길 것이고
• 아무거나 채워넣으면 데이터 오류가 발생하고
• 분포함수 같은 걸 이용해 비슷하게라도 채워넣으면 Measurement error가 있는 상태인데

각각의 상황이 어떤 문제를 갖고 있고, 우리 회사 사정에는 어떤 방법을 쓰는게 더 맞는지를 결론을 내보는거다.

이렇게 ‘써먹을 수’ 있어야 학위 공부한 비용이 안 아까운거잖아?

 

다시 저 위의 3개 문제로 돌아와서,

Exam track인 애들은 저런 문제들을 여러개 풀어보고, variation도 계속 만들어내면서 시험을 준비할 것이고,

Essay track인 분들은 저렇게 다양한 예시들을 풀어놓은 이야기를 듣고,

주변의 비슷한 상황을 찾아서 같은 프레임 안에 집어넣어서 Essay를 쓰면 된다.

만약에 주변에 비슷한 상황이 없다면? 그럼 그런 가상의 스토리를 만들어내라.

 

Essay track의 포인트는 시험 문제와 완벽하게 똑같은 현실의 사례를 전세계 방방곡곡을 뒤져서 찾으라는게 아니라,

그 ‘논리’를 제대로 이해했다는 것을 보여주는 확인 사살을 원하는 것이다.

현실 사례를 약간 변형한 ‘소설’이 저 문제가 풀어나가고 있는 어떤 상황과 비슷하다고 판단하는 근거가 타당하다면,

지식을 제대로 이해했다는 뜻이니까.

 

이걸 위해 내년 봄학기 입학생들에게는 기존 MBA AI/BigData의 각 과목마다 Essay 몇 개를 더 풀어내주는 수업을 해야 될 것 같다.

나도 무한정 뽑아낼 수는 없는 인간이니까 결국 과거 시험 리뷰해주면서 생각의 흐름을 정리하는 이야기가 되겠지만.

채점할 수 있는 역량을 갖춘 사람을 한국 땅 전체에서 아예 한 명도 못 찾을테니 졸지에 채점 부담이 엄청난 교육이 되겠네…

 

Essay track에 대한 소회

어쩌면 이게 MBA AI/BigData의 교육 방식이어야 하지 않나는 생각도 든다.

한국에서 운영해보니 이 정도의 학부 2학년 교육도 모조리 쓸려 나가는 판국인데, 내가 한국인에게 너무 큰 기대를 가졌다 싶다.

그간 MSc(혹은 BSc)와 MBA AI/BigData 수업을 겹치게 해 놨던 것이 한국 사회에 대한 지나친 기대였다는 깨달음을

어떤 방식으로건 Self-correction을 해야하지 않을까.

 

근데, 다른 한편으로는 분명히 코드쳐서 자기가 결과물을 만들어 내고 싶은 학생들도 있을텐데,

다들 열심히 공부하려고 왔는데, 아예 너네는 못할꺼니까 하지마라고 미리부터 막는건 아닌 것 같아서,

그간 MBA AI/BigData에도 같은 수업을 열어줬었던 거였다. 이걸 못 하게 막으면 애들이 얼마나 괴로울까…

그럼 MBA AI/BigData를 Exam/Essay 이렇게 2개 Track으로 운영해야하나?

교육량이 많다고 부담된다면서 ‘1주일 2수업 / 1년 교육 과정 -> 1주일 1수업 / 2년 교육 과정’ 으로 바꿔달라는 학생도 은근 있는 판국인데 흠…

이런저런 옵션들을 다 열어서 운영할 수 있을만큼 Manpower가 빵빵한 조직도 아니고,

한국에 그렇게 수요가 많은 교육도 아니고… 인력이 좀 있어야 나도 Global 시장에서 세일즈도 할텐데…쩝

 

앞으로 어떻게 교통정리가 될 지 모르겠지만, 일단은 Global MBA라는 이름의 Essay track으로 내년 봄학기 입학생을 한번 받아보고,

내년 5월에 첫 Essay를 받아보고나서 향후 방향성을 결정하는 게 맞는 것 같다.

내 눈엔 정말 이것도 못하면 너넨 공부할 자격도 없다…. 싶으면서 동시에 이거 잘 하면 은근 괜찮을 것 같은데… 싶은 해법을 찾았다고 생각 중인데,

Essay도 영어 작문을 못해서 말 귀를 못 알아먹게 쓴다던가, 논리력이 부족해서 산으로 가는 이야기를 쓴다던가 하는 문제가 생길지도 모르겠다.

이번에 MSc, MBA 학생들 가르치면서도 ‘……’ 이런 생각 드는 경우가 많았으니까ㅋㅋ

거기다 학위 과정 변형, 분리 등등으로 여러가지 심사 절차가 있을텐데, 수요와 심사 양쪽 모두에게 적절한 해법을 찾아야겠지.

 

우리 SIAI의 코어 교육은 어쨌건 BSc -> MSc -> PhD AI/Data Science이지만,

MBA AI/BigData -> DBA AI/BigData 교육도 한국 사회의 발전을 위해 꼭 필요하다는데는 확신이 있어서

전달하는 방법으로 고민이 많다.

그냥 널럴하게 졸업시켜주는 학위 만드는 교수들 심정이 이해가 가네.