AI/DS논문이야기

데이터 사이언스를 활용한 논문을 쓰는 뒷 이야기를 일반인 대상으로 풀어내는 글입니다. 어떻게 아이디어를 얻고, 어떻게 사고를 풀어나가고, 어떻게 계산과학 도구를 활용해서 현장에서 쓰일 수 있는 결과물을 만들어내는지를 풀어냈습니다.

[논문이야기] 이 많은 따릉이들은 어디서 왔을까? ④

[논문이야기] 이 많은 따릉이들은 어디서 왔을까? ④

[논문이야기] 이 많은 따릉이들은 어디서 왔을까? ③에서 이어집니다 가장 심한 불균형이 발생하는 지점은, 출퇴근 시간 대여와 반납이 활발히 일어나는 초 거대 업무 지구(예시: 강서 마곡업무 지구, 여의도 업무 지구, 성수동 지식산업센터 등)입니다. 이때 앞서 논의한 ‘평형상태’ 개념을 활용해 대여소별 자전거 수를 정확히 예측해낼 수만 있다면, 새벽 단 한 번의 재배치만으로 대여소별 일일 거치 자전거수를 최적화…

[논문이야기] 이 많은 따릉이들은 어디서 왔을까? ③

[논문이야기] 이 많은 따릉이들은 어디서 왔을까? ③

[논문이야기] 이 많은 따릉이들은 어디서 왔을까? ②에서 이어집니다 주요 업무지구의 출퇴근 시간 따릉이 이동 패턴 분석(Part 4) 앞선 논문이야기에선 자전거길 조성이 잘 돼 있으며 한강 자전거길 접근이 쉬운 서울시 내 신규 개발 업무지구로 따릉이 사용량이 집중된다는 사실을 살펴봤습니다. 따라서 따릉이 사용의 집중이 되는 초거대 업무지구 5곳을 중심으로 분석을 시작하고자 합니다. 한 가지 가설을 세웠습니다. 그것은…

[논문이야기] 이 많은 따릉이들은 어디서 왔을까? ②

[논문이야기] 이 많은 따릉이들은 어디서 왔을까? ②

[논문이야기] 이 많은 따릉이들은 어디서 왔을까? ①에서 이어집니다 따릉이 사용자의 시간별 패턴은 어떨까?(Part 3) 공공 자전거 재배치를 효율화하기 위해선 무엇보다도 따릉이 사용자의 시간별 사용 패턴을 파악하는 게 가장 급선무라고 생각했습니다. 이에 사용량이 가장 많은 시간대의 대여소별 자전거 대여 수와 반납 수를 파악하고자 했습니다. 실제 해당 사업의 주요 사용자 및 사용 시간을 조사한 결과, 따릉이는 오전…

[논문이야기] 이 많은 따릉이들은 어디서 왔을까? ①

[논문이야기] 이 많은 따릉이들은 어디서 왔을까? ①

[논문이야기] 이 많은 따릉이들은 어디서 왔을까? – 초록에서 이어집니다 Intro (Part 1) 저는 고양시 행신역 인근에서 마곡 나루역 근처 사무실로 출근하는 40대 초반 직딩입니다. 원래는 회사 셔틀로 출퇴근하고 있었지만, 최근 자전거에 취미가 생겨 집에서 회사까지 출퇴근을 자전거로 하고 있습니다. 자전거가 취미가 된 가장 큰 이유는 사실 서울시 공공자전거 사업인 따릉이에 대한 이미지가 굉장히 컸기 때문입니다….

[논문이야기] 이 많은 따릉이들은 어디서 왔을까? – 초록

[논문이야기] 이 많은 따릉이들은 어디서 왔을까? – 초록

이번 글은 아래의 내용과 같이 진행될 예정입니다. 어떻게 보면 여러 가지 이야기로 지루하고 복잡해 보일 수 있는 이번 글의 가독성을 위해 5개의 파트로 나눠 진행해 보려고 합니다. 논문이야기 방향 이야기의 시작인 Part1은 따릉이에 관심을 가지게 된 이유 및 ‘서울에서 따릉이를 가장 많이 타는 곳은 어디일까?’에 대한 이야기를 해보고자 합니다. 두 번째 이야기인 Part2는 서울시 환경적인…

[논문이야기] 상하수도 배수관 누수 탐지 ②

[논문이야기] 상하수도 배수관 누수 탐지 ②

[논문이야기] 상하수도 배수관 누수 탐지 ①에서 이어집니다 센서신호를 통해 이상값을 탐지하려면? 그렇다면 센서를 통해 측정된 시퀀스(sequence) 데이터(예: 시간에 따른 온도·수질 측정)에서 어떠한 패턴을 찾을 수 있을까? 또한 이런 센서 데이터에서 미래 값을 예측하거나 이상치(anomaly)를 탐지하는 데 중요한 방법은 무엇이 있을까? 먼저 시계열 속성을 띄는 시퀀스 데이터의 경우엔 다양한 방법으로 유사성(similarity)을 찾아낼 수 있다. 예컨대 거리…

[논문이야기] 상하수도 배수관 누수 탐지 ①

[논문이야기] 상하수도 배수관 누수 탐지 ①

미국 환경보호청(Environmental Protection Agency, EPA)에 따르면 가정에서 매년 약 3,080리터의 물이 누수되며, 가정의 10%에서 하루 약 27.27리터 이상의 누수가 발생하는 것으로 나타났다. 또한 이처럼 가정 내 누수만 해도 규모가 큰데, 외부 공공 급수시스템에서의 누수로 인한 손실은 더하면 더했지 덜 하진 않을 것이다. 실제 국내 누수에 대한 기사를 확인해 보자. 환경부 자료에 따르면 2017년부터 2021년까지 정수장에서…

[논문이야기] Estimating Cannibalization Rates for Pioneering Innovations

[논문이야기] Estimating Cannibalization Rates for Pioneering Innovations

새로운 제품이 출시되면 소비자의 장바구니 구성은 전반적으로 변화하게 됩니다. 흔히 말하는 대체재, 보완재가 그 변화를 지칭하는 대표적인 단어입니다. 즉 신제품의 출시는 단순히 소비자의 장바구니에 추가로 들어가느냐의 차원을 넘어 장바구니의 기존 제품을 대체하거나, 장바구니 밖 시너지를 일으키는 제 3 제품의 구매를 불러오기도 합니다. 신제품 출시, 자사 입장에서 긍정적 또는 부정적인 효과 불러오는지 수치적 확인 못해 문제는…

[논문이야기] 감염병 모델링 ②

[논문이야기] 감염병 모델링 ②

[논문이야기] 감염병 모델링 ①에서 이어집니다. 이전 글에 이어 이번 글에서는 오류가 발생하는 다양한 상황에 따라 모델링 방법이 어떻게 달라져야 하는지 살펴보고, 나아가 구체적인 상황에서 각 모델마다 MLE 추정치가 어떻게 형성되는지 알아본다. 케이스 별 감염병 모델링 방법 이러한 오차의 특성을 고려해서, 다음과 같은 경우로 나눠서 감염병 모델링을 수행해 볼 수 있다. case 1) 시스템 오차는 무시할…

[논문이야기] 감염병 모델링 ①

[논문이야기] 감염병 모델링 ①

COVID-19가 본격적으로 창궐했던 2020년을 기점으로 벌써 3여년의 시간이 흘렀다. 이제는 한국도 위드코로나 정책으로 COVID-19와 공생해 나가고 있는 시점이다. 실제 지난 5월 정부 당국은 사실상 COVID-19 ‘엔데믹'(endemic・일상적 유행)을 선언하면서 국민 일상 회복을 도모했다. 그러나 전염병 전문가들은 아직 긴장의 끈을 놔서는 안된다고 당부한다. 전문가들은 코로나가 완전히 사라진 건 아니며 빠르면 2~3년 이내에 코로나 신종 변이 및 새로운…

[논문이야기] NGCF의 소개 ④

[논문이야기] NGCF의 소개 ④

[논문이야기] NGCF의 소개 ③에서 이어집니다 본 [논문이야기]는 NCF에 그래프 관계형 데이터를 반영한 계산법인 NGCF를 설명하기 위해 ‘Neural Graph Collaborative Filtering(Xiang Wang 등, 2020)‘을 참고했음을 밝힙니다. NGCF는 어떻게 ‘관계형 데이터’를 표현하는가? 먼저 논문 초반 내용인 NCF와 NGCF의 차이점을 간단한 다이어그램으로 소개해보겠습니다. 위 그림처럼 NCF는 $l=1$, 즉 엣지(Edge)가 1개인 관계만 설명할 수 있는 반면, NGCF는 $l=1$ 이상의…

[논문이야기] NGCF의 소개 ③

[논문이야기] NGCF의 소개 ③

[논문이야기] NGCF의 소개 ②에서 이어집니다 이전 글을 통해 추천 알고리즘의 가장 기본적인 형태인 ‘콘텐츠 기반 필터링’과 ‘협업 필터링’을 간락히 살펴봤습니다. 또한 ‘유저와 아이템간 관계’를 비선형적 영역으로 확장하는 협업 필터링을 신경망 협업 필터링(Neural Collaborative Filtering, NCF)을 소개한 바 있습니다. 이번 글에서는 협업 필터링의 구조를 조금 더 자세히 이해해보고, 나아가 ‘신경망 그래프 협업 필터링(NGCF)’이 나오게 된 배경을…

[논문이야기] NGCF의 소개 ②

[논문이야기] NGCF의 소개 ②

[논문이야기] NGCF의 소개 ①에서 이어집니다 추천 알고리즘이란 사용자의 선호도 및 과거 행동을 바탕으로 사용자가 흥미를 느낄 만한 콘텐츠를 제공하는 알고리즘을 뜻합니다. 제가 추천 알고리즘을 접한 맨 처음 계기는 SIAI MBA 과정의 첫 번째 비즈니스 수업인 BUS501(AI in Digital Marketing)입니다. 해당 수업에서는 기본적인 추천 알고리즘인 콘텐츠 기반 필터링(Contents Based filtering)과 협업 필터링(Collaborative Filtering)을 배우고, 좀 더…

[논문이야기] NGCF의 소개 ①

[논문이야기] NGCF의 소개 ①

  SIAI MBA 과정이 막바지에 접어들고 논문을 써야 하는 시점이 다가오면서, ‘대학원에서 배운 내용 중 논문에 적용할 수 있는 주제는 어떤 것이 있을까?’ 를 고민하게 됐습니다. 그 와중 Data Management 수업에서 Term paper 주제로 다뤘던 주제인 ‘뉴스 기사 데이터 기반 언어모델’이 머릿속에 불현듯 떠올랐습니다. 그리고 이 생각은 ‘뉴스 기사에 대한 주요 요인(Factor)은 어떤 것이 있을까’로…

측정오차 하 광고 시계열 모델링 연구: Poisson Time Series 및 Poisson Kalman Filter를 중심으로

측정오차 하 광고 시계열 모델링 연구: Poisson Time Series 및 Poisson Kalman Filter를 중심으로

코로나19 팬데믹은 우리의 일상 전반의 변화와 함께 디지털 전환을 가속했다. 집에서 보내는 시간이 길어지면서 유튜브, 모바일 콘텐츠, 온라인동영상서비스(OTT) 등 미디어 시청 패러다임의 변화는 물론, 소비의 중심축이 오프라인에서 온라인으로 움직이면서 디지털 광고 시장 또한 급격하게 성장했다. 실제로 최근 한국방송광고진흥공사가 발표한 ‘2022년 방송통신광고비 조사’에 따르면 대부분 매체의 방송광고비는 감소했지만 2023년 추정 온라인광고비는 8조8400억원으로 전년 대비 10% 증가하는…

Interpretable Topic Analysis

Interpretable Topic Analysis

산업통상자원부가 올해 초에 발표한 ‘연간 수출입동향’에 따르면, 지난해 우리나라 세계 수출 순위는 6위를 기록했다. 또한 지난해 수출액은 6,839억 달러로 2년 연속으로 사상 최대 수출 실적을 경신했다. 반면 우리나라 무역수지 적자는 나날이 심해지고 있다. 산업부에 따르면 지난해 무역수지는 역대 최악인 472억3,000만 달러(약 61조 8,713억원)을 기록했다. 이는 2008년 글로벌 금융위기(132억6,749만 달러 적자)를 뛰어넘는 수치다. 전문가들은 이를 글로벌…

부동산 경매 시장의 할인/할증 요인 발견

부동산 경매 시장의 할인/할증 요인 발견

우리나라 아파트 경매 시장은 매매 시장과 뚜렷한 가격 차이를 보기 어려울 정도로 활성화 되어있다. 이에 따라 실수요 목적으로 경매 시장을 찾는 개인들, 차익 거래를 노리는 투자자들, 담보 대출을 다루는 금융 기관들과 부실 채권 사업자 등 다양한 이해 관계자가 해당 시장에 참여한다. 특히 대부분의 금융 기관은 사업 구조 중 주택 담보 대출이 차지하는 비율이 높고, 채무…

Is bubble really bubble?

Is bubble really bubble?

버블은 금융 자산 또는 상품의 가격이 내재가치 또는 시장 컨센서스보다 훨씬 높을 때 발생한다. 이는 일반적으로 과열된 경제 상황을 설명할 때 주로 사용되는 표현이다. 문제는 버블이 꺼지면서 가격이 폭락하기 전까지는 대부분의 시장 참여자가 이를 버블이라고 인지하지 못한다는 것이다. 국제적으로 상호 연관성이 커진 오늘날 어느 한 나라의 버블은 세계 경제 전반에 큰 영향을 미치기 때문에 이를…

건축물 별 월간 전기/가스 사용량 예측: 결합확률분포 모델 기반 예측

건축물 별 월간 전기/가스 사용량 예측: 결합확률분포 모델 기반 예측

우리는 집에서 전기와 가스를 사용하고 매달 전기요금 고지서와 가스요금 고지서를 받는다. 여름에는 더위 때문에 에어컨을 많이 사용하고는 전기 요금이 많이 나올까 걱정하고, 겨울에는 추위 때문에 난방을 온종일 틀어놓고 비싼 가스 요금을 걱정하기도 한다. 송정훈 박사는 지난 5월 12일 개최된 ‘데이터사이언스경영학회 2023년 제1차 세미나’에서 한국에너지공단이 공개한 위의 통계자료를 지적하며, 이러한 전기와 가스 소비는 가정뿐만 아니라 비주거용…

ChatGPT는 실험에 불과, Attention mechanism도 데이터셋 특화된 계산법에 불과

ChatGPT는 실험에 불과, Attention mechanism도 데이터셋 특화된 계산법에 불과

지난해 11월 말에 ChatGPT가 출시되고 2개월만에 사용자가 1억명을 넘었다는 보도가 있었다. 이제 만 2개월이 좀 더 지난 시점인데, 수익화를 위해서 개발사인 OpenAI가 서두르는 것을 보면서, 게임 이상으로 현실 서비스를 뜯어 고칠 수 있을까는 의문을 던져봤다. 한 언론사 기자 지원을 했던 학생이 ChatGPT에서 정보를 얻어 기사 샘플을 작성했다며 제출했단다. 솔직히 밝혀줘서 고맙다면서 글을 읽어본 경력직 기자 분은 ‘XX위키 베꼈네요?’라고…