[논문이야기] 이 많은 따릉이들은 어디서 왔을까? – 초록

  SIAI MBA 과정이 막바지에 접어들고 논문을 써야 하는 시점이 다가오면서, ‘대학원에서 배운 내용 중 논문에 적용할 수 있는 주제는 어떤 것이 있을까?’ 를 고민하게 됐습니다. 그 와중 Data Management 수업에서 Term paper 주제로 다뤘던 주제인 ‘뉴스 기사 데이터 기반 언어모델’이 머릿속에 불현듯 떠올랐습니다. 그리고 이 생각은 ‘뉴스 기사에 대한 주요 요인(Factor)은 어떤 것이 있을까’로…

자, 이제 이 시리즈 글의 가장 본질적인 목적으로 돌아와보자. 그간 강화학습이라는 모델과 인간 피드백형 강화학습이 구성되는 논리를 이해했다면 굳이 ‘실험’에 의존하지 않고도 어떤 데이터와 어떤 목적일 때 RLHF가 효과적일 수 있을지 가늠이 될테니, 논리부터 한번 정리해보자.   8.RLHF로 할 수 있는 것과 할 수 없는 것 일반에 ‘강화학습’으로 알려진 계산법은, 고교 시절에 봤던 미분 최적화 +…

우리는 집에서 전기와 가스를 사용하고 매달 전기요금 고지서와 가스요금 고지서를 받는다. 여름에는 더위 때문에 에어컨을 많이 사용하고는 전기 요금이 많이 나올까 걱정하고, 겨울에는 추위 때문에 난방을 온종일 틀어놓고 비싼 가스 요금을 걱정하기도 한다. 송정훈 박사는 지난 5월 12일 개최된 ‘데이터사이언스경영학회 2023년 제1차 세미나’에서 한국에너지공단이 공개한 위의 통계자료를 지적하며, 이러한 전기와 가스 소비는 가정뿐만 아니라 비주거용…

[논문이야기] Interpretable Topic Analysis ②에서 이어집니다 이전 글에서는 GloVe를 본 연구의 핵심 워드 임베딩 기술로 사용하게 된 배경을 살펴보고, 나아가 그래프 표현을 통해 ‘토픽 내 단어간 관계’를 심도 깊게 반영하는 GTRF를 소개했습니다. 위 논의를 기반으로, 이번 글에서는 본 [논문이야기]의 핵심인 ‘GNTM(Graph Neural Topic Model)’를 살펴봅니다. GNTM은 higher order GNN(Graph Neural Network, 그래프 신경망)을 활용합니다. 즉,…

[논문이야기] Interpretable Topic Analysis ③에서 이어집니다 이전 글(1,2,3)까지, ‘화려한’ 모델들을 사용하며 계산 효율성(Computational Efficiency)을 최대화하면서도, 어휘 간 맥락을 반영할 수 있는 토픽 모델링을 설계했습니다. 그 다음으로 연구를 하면서 제가 가장 많이 했던 고민은 ‘이를 통해 어떻게 의사 결정을 내릴 수 있을까’였습니다. 보편 근사 정리(Universal Approximation Theorem, 신경망 모델에서 하나의 레이어만으로도 여러 개 노드 추가를 통해…

[논문이야기] Interpretable Topic Analysis ④에서 이어집니다 요약 본 논문을 한 문장으로 요약하자면, NLP(Natural Language Process, 자연어처리)분야에서 토픽의 비율을 뜻하는 $\theta$를 찾아내기 위해 비선형 요인분석(Non-linear Factor Analysis)를 수행한 것으로 볼 수 있습니다(실제로도 토픽들간의 공분산은 존재합니다). 위를 바꿔 말하면, 보통 요인 분석(Factor Analysis, FA)은 수치형 데이터에서 사용되는데, 이를 NLP 분야에 활용(비선형 요인분석)하기 위해 단어와 각 토픽의 구조,…