[해외DS] 데이터 사이언스가 주식 시장을 정확하게 예측할 수 있을까요?

주식 투자, 주식 시장 추적에도 활용되는 데이터 사이언스 미래는 예측할 수 없다, 블랙 스완 이론과 데이터 접근 제한, 정보 민주화 등 수많은 문제 그렇지만 데이터는 여전히 중요하다, 정보 최대한 모으고 포트폴리오 성과 이해하려면

6
pabii research

[해외DS]는 해외 유수의 데이터 사이언스 전문지들에서 전하는 업계 전문가들의 의견을 담았습니다.저희 데이터 사이언스 경영 연구소 (MDSA R&D)에서 영어 원문 공개 조건으로 콘텐츠 제휴가 진행 중입니다.

어떻게 보면 주식 투자는 ‘과학적인’ 노력입니다. 더 나은 결과를 얻기 위해서는 변수를 이해하고, 데이터를 분석하고, 실험 결과를 검토해야 하니까요.

데이터 사이언스는 개인의 의사결정과 조직 경영 방식에 점점 큰 역할을 하고 있습니다. 기업은 마케팅 캠페인을 시작하기 전에 대상 인구 통계가 어떻게 되고, 이들은 어떤 생각을 갖고 있는지를 알고 싶어합니다. 데이터 과학은 신제품을 혁신하거나 개선하기 전, 사람들이 필요로 하는 것을 이해하고 제품을 완벽하게 최적화하기 위해 이용됩니다.

주식 데이터 API Alpha Vantage/사진=Alpha Vantage 공식 홈페이지

데이터 과학은 주식 투자 및 주식 시장 추적에도 많이 사용되고 있습니다. 주식 데이터 API는 모든 앱이나 웹 서비스에 실시간으로 데이터를 제공할 수 있습니다. 특정 자산의 성과를 ‘추적’하고 싶을 때에도, 최근 발생한 변동성이 미래에 일어날 사건의 ‘징후’인지 알아보고 싶을 때에도 이용할 수 있죠.

그런데, 보다 ‘진보한’ 데이터 사이언스로 주식 시장을 더 높은 수준에서 더 정확하게 예측할 수 있을까요?

우리는 왜 주식 시장을 예측할 수 없을까?

슬프지만 아닙니다(부자 되나 했는데 아쉽네요). The Science Times는 몇 가지 예시를 들었습니다. 이건 수많은 이유 중 일부라고 덧붙이면서요.

  • 미래는 예측할 수 없습니다. ‘블랙 스완 이론(Black Swan theory)’을 들어 보셨나요? Nassim Nicholas Taleb가 개발한 이 이론에 따르면, 세간의 이목을 끄는 희귀하고 예상치 못한 사건은 우리가 생각하는 것보다 더 자주 발생합니다. 인간의 두뇌는 이러한 사건을 ‘후견 편향’으로 설명하려는 성가신 경향을 갖고 있기 때문에 우리가 미래에 있을 새로운 ‘블랙 스완’ 사건에 취약해진다는 거죠.

2008년 미국에서 발생한 주택 시장 폭락과 그로 인한 경기 침체가 이 이론의 완벽한 예시입니다. 파생 상품 거래와 기타 요인이 주요 시장을 붕괴시키는 상황은 어떤 경제 전문가도 예측하지 못했습니다. 몇몇 ‘악당’ 빼고요.

하지만 지금 와서 생각해 보면 그 ‘충돌’은 어쩔 수 없었던 것 같습니다. 그런 일이 있었기에 지금 우리가 비슷한 사건을 일으킬 수 있는, 주택 시장의 ‘문제 신호’와 어두운 경제 관행을 주시하게 된 거죠. 그런데 그거 아세요? 경제와 관련된 다음 ‘블랙 스완’ 사건은 정의상 예측이 불가능합니다. 이런 노력 다 의미가 없다는 거죠. 좀 초치는 것 같긴 한데, 사실이 그러네요.

이건 예측할 수 없는 미래에 대한 예시 하나일 뿐입니다. 주식 시장에서 어떤 회사에 투자할 때, 우리는 종종 장기적인 미래를 생각합니다. 그런데 그건 좀… 헛수고예요. 10년 후에 경제가 지금과 같이 정확하게 기능할 것이라고 확신하세요? 20년 후라면? 30? 10년 안에 당신이 투자하고 있는 회사가 완전히 새로운 리더십, 공개된 스캔들, 아무도 예측하지 못한 주요 인구 변화에 대처하는 데 어려움을 겪을지도 모릅니다. 우리는 그냥, 미래가 어떻게 될지 몰라요. 매우 다양한 변수가 주가와 경제 전반에 영향을 미치기 때문에 데이터 사이언스가 ‘예측’을 하는 것은 기능적으로 불가능합니다.

  • ‘모든’ 현재 데이터를 사용하는 건 불가능합니다. 애초에 완벽한 투자 결정을 내리는 데 필요한, 모든 현재 데이터에 접근할 수가 없죠. 우리는 회사의 성장 모델, 현재 리더십, 비전 및 미션 선언문, 최근 손익 계산서 그리고 이와 관련된 수십 가지 기타 재무 변수를 이해할 수 있습니다. 하지만 우리는 ‘닫힌 문’ 뒤에서 무슨 일이 일어나는지 실제로 알지 못합니다. 상장 기업은 특정 정보를 일반 대중에게 공개할 의무가 있지만, 그렇다고 해서 이들이 대중에게 정보를 숨기지 않는 것은 아닙니다. 그 조직에서 일어나는 모든 일을 알 수는 없습니다.
  • 정보는 ‘민주화’됩니다. 우리가 주식 시장을 실제로 예측할 수 없는 또 다른 이유는 정보가 이제 민주화되었다는 사실입니다. 어떤 회사가 최근에 신제품을 발표했고 그 제품에 대한 기대가 급증하고 있다는 소식을 들으면 미래에 좋은 일이 있을 것이란 생각이 들어 그 회사에 투자하고 싶을 수 있습니다.

하지만 주변의 모든 사람들이 이 정보를 캐치하고, 당신처럼 사용하고 있다면? 사실, 당신이 정보 흐름에서 ‘평균적인’ 위치에 있다면 수많은 사람들이 당신보다 먼저 이 정보를 가지고 투자를 결정했을 겁니다. 즉, 주가가 이미 부풀려졌을 가능성이 있으며, 당신의 투자는 그걸 더 높이기만 할 수도 있다는 겁니다. 데이터 사이언스는 ‘합리적’이고 ‘고립’된 모델을 이용했을 때만 이러한 종류의 변화를 예측할 수 있습니다. 현재, 투자자들이 이런 정교한 ‘집중’ 행동을 한다면 데이터 사이언스는 무너집니다.

  • 최고의 전문가조차도 종종 틀립니다. 마지막으로 명심할 건, 경제학은 중요한 과학이지만 틀린 예측만을 내놓은 ‘최고의’ 경제학자도 있다는 겁니다. 시장은 결국 놀라운 방향으로 움직일 수 있습니다. 당신이 가진 사실, 데이터, 논리가 얼마나 ‘믿을 만 한지’에 관계없이요. 이 분야에서 가장 강력하고 경험이 풍부한, 최고의 전문가도 주식 시장에서 어떤 일이 일어날지 예측할 수 없는데 데이터 사이언티스트라고 다를까요?

그래도 데이터는 중요해요

The Science Times는 이번 기사를 읽은 독자가 주식 시장에 적용되는 데이터 사이언스의 미래는 비관적이라는 생각을 갖게 될 수도 있겠지만, 데이터가 굉장히 중요하다는 건 변함없다고 말합니다. 비록 모든 걸 예측할 수 없다 해도, 동료들과 보조를 맞추고 손실을 최소화하려면 진행 상황과 미래에 일어날 수 있는 일에 대한 정보를 최대한 많이 모아야 합니다. 또, 포트폴리오의 성과를 이해하려면 데이터 스트림 정도는 필요하니까요.


In some ways, investing in the stock market is a scientific endeavor. You have to understand the variables, analyze the data, and review the results of your experiments if you want to see a better return.

Increasingly, data science has played a role in how individuals make decisions and how organizations conduct themselves. Before launching a marketing campaign, companies want to know who their target demographics are and how they think. Before innovating or improving a new product, we use data science to understand what people need and optimize the product to perfection.

Data science is being heavily used in stock investing and stock market tracking as well. Stock data API can feed data in real time to any app or web service, whether you’re just trying to track the performance of a specific asset or you are trying to figure out whether recent volatility is a sign of things to come.

But could better data science allow us to predict the stock market more accurately on a higher level?

Why We Can’t Predict the Stock Market

Unfortunately, better data science will never be able to accurately predict the stock market. These are just a few of the reasons why that’s the case:

  • The future is unpredictable. Black Swan theory, developed by Nassim Nicholas Taleb, holds that high-profile, rare, and unexpected events are more common than we think – and that the human brain has an annoying tendency to explain these events away through hindsight bias, leaving us vulnerable to new Black Swan events in the future.

A perfect example of this is the 2008 housing market crash and resulting economic recession. No economic experts at the time, aside from a handful of rogues, were predicting that derivatives trading and other factors were leading us to a major market collapse.

But with the benefit of hindsight, the crash seems like it was inevitable. Now that it’s happened, we’re on the lookout for troubling signals in the housing market and shady economic practices that could lead us to a similar event. But this is somewhat useless, as the next Black Swan event related to the economy will, by definition, be impossible to foresee in advance.

This is just one example of the future being unpredictable. When we invest in companies in the stock market, we often think about the long-term future, but on some level, this is an exercise in futility. In 10 years, are you confident the economy is going to function exactly as it does today? What about in 20 years? 30? In 10 years, the company you’re investing in could have totally new leadership, an unveiled scandal, and difficulty dealing with major demographic shifts that nobody could have predicted. We simply don’t know what the future holds, and since so many different variables influence stock prices and the economy at large, this is functionally impossible for data science to predict.

  • Not all present data is available. On top of that, we don’t have access to all the present data we would need to make perfect investing decisions. We may understand a company’s growth model, its current leadership, its vision and mission statement, its recent profit and loss statements, and dozens of other financial variables associated with it. But we don’t really know what goes on behind closed doors. Publicly traded companies are obligated to disclose certain pieces of information to the general public, but that doesn’t stop them from withholding pieces of information the public. We can’t know everything that happens in a given organization.
  • Information is democratized. Another reason we can’t really predict the stock market is the fact that information is now democratized. When you hear that a company has recently announced a new product and hype for that product is skyrocketing, you may want to invest in the company because you predict good things in the future.

But everyone else around you noticed this information and is using it the same way you are; in fact, if you’re in an average position in the information stream, countless people will have you used this information to invest before you. That means the stock price is already probably inflated, and you’ll push it even higher with your entry. Data science can only predict these types of changes using rational, isolated models; currently, it crumbles when investors demonstrate this type of sophisticated “flocking” behavior.

  • Even the best experts are often wrong. Finally, keep in mind that while economics is an important science, some of our best economists are wrong with all their predictions. No matter how much grounding you have in facts, data, and logic, the market may end up surprising you. If our most powerful, experienced, foremost experts on the subject can’t predict what’s going to happen next in the stock market, what hope do data scientists have?

Why Data Is Still Valuable

This entire article may make you feel pessimistic about the future of data science as applied to the stock market, but data is still incredibly valuable. If you want to keep pace with your peers and minimize losses, you need to know as much as possible about what’s going on and what could happen in the future – even if you can’t predict everything. And at the very least, you’ll need data streams to understand how your portfolio is performing.

Similar Posts