AI/DS이야기

[선거]출구조사 오차와 데이터 사이언티스트의 책임감

[선거]출구조사 오차와 데이터 사이언티스트의 책임감

출구조사 오차 탓에 누군가는 웃다고 울고, 또 누군가는 울다가 웃게됐다데이터 과학은 오차가 허락되는 학문이지만, 그렇다고 오차의 원인마저 무시하는 학문은 아냐이번 오차의 원인은 지역, 연령, 성별 기반의 과거 모델이 후보별 특성을 고려 못했기 때문패널 데이터 형태로 기본 데이터 구조를 바꾸 재접근하는 것도 도전해볼만한 방법 지난 22대 총선 투표가 종료되기 약 30분 전 무렵, 서울 동작을 지역구…

출구조사와 ‘AI예측’은 왜 사전투표를 못 맞췄을까?

출구조사와 ‘AI예측’은 왜 사전투표를 못 맞췄을까?

지역, 연령, 성별 기반 표심이 틀린 곳들 탓에 출구조사 오차틀린 이유는 1주일 사이에 표심이 빠르게 바뀌었기 때문스윙 보터들의 표심은 데이터로 알기 어려워AI예측도 결국은 정확한 데이터 없으면 한계 지난 10일 제22대 총선 투표가 막 끝나자마자 방송사들이 공개한 출구조사와 11일 오전에 확인한 투표 결과가 상당히 달랐다는 평들이 나온다. ‘투표함을 열어봐야 안다’며 단순한 오차라고 치부하고 넘어갈 수 있지만,…

계산 비용 최소화를 위한 ‘Trinity’, 하드웨어 – 소프트웨어 – 수학 모델

계산 비용 최소화를 위한 ‘Trinity’, 하드웨어 – 소프트웨어 – 수학 모델

비싼 하드웨어만 도입한다고 무조건 AI를 도입한 것 아냐고급 하드웨어는 계산 속도 개선을 위한 하나의 도구일 뿐AI는 반복 계산의 자동화가 필요한 구간에서 인간의 수고를 덜어주는 프로그램에 불과자동화 연산에 필요한 계산 비용 최소화는 하드웨어 뿐만 아니라 소프트웨어 최적화도 필수근간에는 데이터 변형, 데이터에 맞춘 수학 모델 변형 등이 깔려있어 ‘브라운 운동(Brownian motion)’은 1827년 스코틀랜드 식물학자 로버트 브라운이 발견한…

AI교육의 미래와 AI채용 시장의 미래

AI교육의 미래와 AI채용 시장의 미래

지난 4월 6일을 끝으로 2023~2024년 졸업 기수들에 대한 논문 지도를 끝냈다. 5월 중에 데이터 사이언스 경영학회 세미나 발표를 거쳐 9월까지 논문을 제출하면 이제 졸업이다. 논문에 합격(Pass)를 받은 분들이 그렇게 많지 않고, 최선을 다한 분들이 집에서 혼자 울었다는 이야기도 들었다. 합격이라고 이야기를 못 해줘서 마음이 무겁고, 내 가슴에 박힌 못들이 다시 한번 날 찌르는 느낌이 들어서…

고급 교육과 졸업 논문과 졸업장의 무게

고급 교육과 졸업 논문과 졸업장의 무게

지난 2022학년도 입학생이 2년 학위 과정 끝에 졸업 논문 마무리에 한참이다. 2021학년도 입학생 중에 논문을 못 냈던 분들도 괴로운 마음을 다잡고 지난해 9월부터 재도전에 나섰다. 지난 3월 30일, 오는 4월 6일 양일간 1차로 심사를 진행하고, 합격하면 작년처럼 ‘데이터 사이언스 경영 학회(Managerial Data Science Association, MDSA)‘ 세미나에서 졸업 논문을 발표하게 된다. 발표 후 남은 몇 달간…

Neural Network 모델은 Borel-measurability가 충족되는 데이터에서만 쓸 수 있다

Neural Network 모델은 Borel-measurability가 충족되는 데이터에서만 쓸 수 있다

Neural Network 계산법이 만능이라는 오해가 퍼져 있으나 수학적 조건 따져가며 적용해야 Borel-measure 조건을 충족시키지 못하는 계산에서는 ‘학습 실패’ 사건이 벌어지기도 오차 많은 시계열 데이터에서 빈번하게 발생, 데이터 전처리 고민 필수 우리 SIAI 학생 중 한 명의 미국 대학원 추천서를 쓰면서, SIAI에서 가르친 내용, 방향, 수준, 응용 방식을 잘 보여주면서, 동시에 그 학생의 역량을 쉽게 이해할…

[2류 국가, 2류 인재] ⑧이민 받지 말고 한국 기업이 해외진출 하는 건 어떨까?

[2류 국가, 2류 인재] ⑧이민 받지 말고 한국 기업이 해외진출 하는 건 어떨까?

해외의 지적 역량을 활용해야하는 기업은 인재 수입보다 기업의 해외 진출 선택하는 것이 바람직 리모트 활성화로 해외 인력 뽑아서 쓰고 더 높은 효율성 내는 기업들도 속속 늘고 있어 1990년대 관세 장벽 철폐 후 글로벌 상품 경쟁에 밀린 업체들이 도태된 것처럼, 2020년대 인력 이동 장벽 철폐되면 역량 부족한 인력들이 도태될 가능성 높아 이민청이 만들어진다는 이야기가 계속 나오는…

[2류 국가, 2류 인재] ⑦고숙련 노동력이 한국에 이민오도록 만들려면

[2류 국가, 2류 인재] ⑦고숙련 노동력이 한국에 이민오도록 만들려면

고숙련 인력을 데려오고 싶지만, 한국이 이미 잘 하고 있는 산업이 아니면 인재 모시기 어려워 한국의 강점에 속하는 산업군 위주로 숙련 인력 이민 경험치를 쌓는 것이 먼저 무조건 선진국 출신이라고 가산점을 주는 관점도 피해야 이민청에 대한 논의가 활발하게 진행 중인데, 많은 관계자들이 고숙련 노동력을 한국에 적극적으로 유치하기 위해 노력해야 한다는 발언들을 내놓는다. 그런데, 한국인 유학생들이 한국에…

[2류 국가, 2류 인재] ⑥이민청이 반드시 필요한 이유와 필요하지 않은 이유

[2류 국가, 2류 인재] ⑥이민청이 반드시 필요한 이유와 필요하지 않은 이유

이민청이 필요한 산업군은 국내 인력이 부족한 부분을 자본력, 지식 상품으로 메울 수 없는 영역에 한정해야 문화적, 언어적 격차가 낳을 장기적인 사회적 충격이 낳는 비용 대비 이득이 더 큰 인력에 한정할 수밖에 없어 이민자 본인의 역량에 함몰되지 말고, 사회적 필요에 초점 맞춘 정책 설립해야 요즘 인구 절벽 이야기가 반복적으로 나오면서 한국도 인력 부족 국가가 되는만큼, 이민청을…

공대는 학부만해도 되는데, 통계학은 대학원을 가야된다 – ②

공대는 학부만해도 되는데, 통계학은 대학원을 가야된다 – ②

공대는 학부 교육이 불필요한 저(低)기술 직장이 매우 많았던 반면 통계학은 학부 고학년 교육이 실패하면 경제·경영 등의 문과보다 경쟁력이 떨어짐 그러나 공대생을 채용하던 기업들이 글로벌 시장에서 중국, 동남아, 동유럽에 단가 싸움에서 밀리는 상황이 됐음 10년 후에도 공대 출신들이 지난 40년 만큼 쉬운 취직이 될 것이라는 기대하기 어려워 지난 2022년 봄에 학생들의 질문을 받고 아래의 글을 쓴…

[2류 국가, 2류 인재] ⑤석·박사 유학만 가고 싶고 실력은 안 되는 당신

[2류 국가, 2류 인재] ⑤석·박사 유학만 가고 싶고 실력은 안 되는 당신

개인의 역량은 전체 그림의 일부에 불과할 뿐 사회적 자본, 금융 자본의 지원 없이 혼자서 문을 뚫고 가는 것은 엄청난 도전 하고 싶다고 받아주는 게 아니라, 결과를 낼 수 있어야 받아주는 것 지난 글([2류 국가, 2류 인재] ④노동력의 역량과 지적 인프라의 역량이 낳는 시너지 효과)에 소개한 대로, SIAI 재학생 하나가 AI/Data Science/Statistics 주제로 석사 유학을 준비…

[2류 국가, 2류 인재] ④노동력의 역량과 지적 인프라의 역량이 낳는 시너지 효과

[2류 국가, 2류 인재] ④노동력의 역량과 지적 인프라의 역량이 낳는 시너지 효과

노동력의 역량은 교육 방식 개선으로 끌어올릴 수 있어 지적 인프라의 한계는 결국 영어권이 아닌 이상 한계가 있을 수밖에 남은 것은 부족한 인프라를 극복하고 고급 지식을 ‘응용’할 수 있는 학생의 역량 우리 SIAI에서 BSc Data Science로 교육 중인 학생 하나가 미국 대학들로 석·박 유학을 가고 싶다며 추천서를 써 주실 수 있냐고 찾아왔다. 그 시절 추천서 한…

[2류 국가, 2류 인재] ②인적 자원, 지적 자원, 물적 자원, 3박자가 골고루 후진적인 나라

[2류 국가, 2류 인재] ②인적 자원, 지적 자원, 물적 자원, 3박자가 골고루 후진적인 나라

한국은 인적, 지적, 물적 자원 중 인적, 지적 자원에 심각하게 결핍된 나라 실패의 원인은 교육의 붕괴, 결과는 경제 성장 침체 역량 부족에 비해 인적 자원의 지나친 복지 요구도 문제의 원인 중 하나 간밤에 엑스포를 개최하겠다고 대통령이 프랑스 파리까지 날아갔다가 고배를 마신 소식이 전해졌다. 원래부터 안 될 일이었는데 보고가 잘못 올라가는 바람에 대통령이 힘을 썼다는 핑계에…

[2류 국가, 2류 인재] ①영어권 코딩 부트캠프 인재가 한국 SKY보다 개발을 잘하는 이유

[2류 국가, 2류 인재] ①영어권 코딩 부트캠프 인재가 한국 SKY보다 개발을 잘하는 이유

한국 초명문대 컴공과 출신 개발자들이 만든 시스템보다 영어권 6개월 코딩 부트캠프 출신 인재들이 만든 시스템이 더 뛰어난 이유 한국은 인재 문제, 지식 기반 문제, 자본 문제를 총체적으로 갖춘 2류 국가이기 때문 박사 유학 중 가끔 들르던 한국어 권의 특정 노트북 브랜드 커뮤니티가 있었다. 영어권에서 더 활성화되어 있는 커뮤니티고, 보스턴에서는 가끔 오프라인 모임이 있으면 찾아가곤 했었기…

킬러 문항 논란이 어이가 없는 이유

킬러 문항 논란이 어이가 없는 이유

자주 듣는 표현 중에 그거 대기업 취직하는데 도움 되나요? 라는 표현이 있다. 처음에는 너무 생뚱맞는 질문이라 당황했었는데, 요즘은 그 분들이 수능 쪽집게 강사 수업을 찾아가는 분들과 같은 사고방식을 가진 분이라는 것도 알게됐고, 수능 만점으로 대학 입시 문을 부수고 들어가겠다는 사람들이 아니라, ‘커트라인’에 맞춰서 ‘문 닫고’ 들어가는 사람이 되기를 원하는 분들, 즉 ‘남들이 보는 것’에 집중하는…

한국 경제가 어려운 이유? Human capital을 못 갖춘 나라가 됐기 때문

한국 경제가 어려운 이유? Human capital을 못 갖춘 나라가 됐기 때문

한국의 경제 어려움은 제품 수출에 필요한 인력을 제대로 키우지 못한 것에 기인한다. 국내 기업들이 갖추고 있는 능력은 ‘빠르게 베끼기’에 초점이 맞춰져 있어, 인력 각각이 내놓는 결과물의 가치 상승이 어려우며 이로 인해 국내 GDP 성장이 제한받는다. 또한, 교육과 인적 자원에 대한 투자 부족을 지적하며, 이로 인해 실력있는 인재를 유치하고 키우는 데 어려움을 겪고 있을 것으로 전망한다. 이 모든 문제의 근본 원인으로 ‘Human capital’ 증대의 부재를 지적한다.