Author: 김민철 연구원

[논문이야기] Interpretable Topic Analysis ④에서 이어집니다 요약 본 논문을 한 문장으로 요약하자면, NLP(Natural Language Process, 자연어처리)분야에서 토픽의 비율을 뜻하는 $\theta$를 찾아내기 위해 비선형 요인분석(Non-linear Factor Analysis)를 수행한 것으로 볼 수 있습니다(실제로도 토픽들간의 공분산은 존재합니다). 위를 바꿔 말하면, 보통 요인 분석(Factor Analysis, FA)은 수치형 데이터에서 사용되는데, 이를 NLP 분야에 활용(비선형 요인분석)하기 위해 단어와 각 토픽의 구조,…

[논문이야기] Interpretable Topic Analysis ③에서 이어집니다 이전 글(1,2,3)까지, ‘화려한’ 모델들을 사용하며 계산 효율성(Computational Efficiency)을 최대화하면서도, 어휘 간 맥락을 반영할 수 있는 토픽 모델링을 설계했습니다. 그 다음으로 연구를 하면서 제가 가장 많이 했던 고민은 ‘이를 통해 어떻게 의사 결정을 내릴 수 있을까’였습니다. 보편 근사 정리(Universal Approximation Theorem, 신경망 모델에서 하나의 레이어만으로도 여러 개 노드 추가를 통해…

[논문이야기] Interpretable Topic Analysis ②에서 이어집니다 이전 글에서는 GloVe를 본 연구의 핵심 워드 임베딩 기술로 사용하게 된 배경을 살펴보고, 나아가 그래프 표현을 통해 ‘토픽 내 단어간 관계’를 심도 깊게 반영하는 GTRF를 소개했습니다. 위 논의를 기반으로, 이번 글에서는 본 [논문이야기]의 핵심인 ‘GNTM(Graph Neural Topic Model)’를 살펴봅니다. GNTM은 higher order GNN(Graph Neural Network, 그래프 신경망)을 활용합니다. 즉,…

[논문이야기] Interpretable Topic Analysis ①에서 이어집니다 AI(Artificial Intelligence)분야에서 가장 먼저 떠오르는 교수님은 누가 있을까요? 저는 앤드류 응(Andrew Ng) 교수님이 떠오릅니다. 왜 그런진 모르겠지만 언젠가부터 주변에서 앤드류 응 교수의 강의, 인터뷰, 논문을 봤다고 얘기하는 사람들이 늘어나기 시작했습니다. 지금 생각해보면 앤드류 응 교수의 논문이 2000년 대 초반에 나왔다는 것을 생각하면, 최근 들어 이 교수의 명성을 접하게 돼…

대학원 수업들을 절반 이상 이수하며 졸업을 얼마 안 남기고 있었던 시점에서, 데이터 사이언스와 인공지능을 배우기 위해 이 대학원에 왔기 때문에 기존 통계학 분석 방법이 사용되지 않는 머신러닝 및 딥러닝이 잘 사용되는 분야로 논문을 작성하고 싶었습니다. 그래야 대학원 교육과정을 마치는 의미가 더욱 있을 것 같았기 때문입니다. 데이터를 찾기 쉽고, 딥 러닝을 활용할 수 있는 분야 저를…