[해외DS] 우리가 데이터의 황금기에 있는 이유

[해외DS]는 해외 유수의 데이터 사이언스 전문지들에서 전하는 업계 전문가들의 의견을 담았습니다.저희 데이터 사이언스 경영 연구소 (MDSA R&D)에서 영어 원문 공개 조건으로 콘텐츠 제휴가 진행 중입니다.

데이터로 ‘조직’이 어떻게 달라졌는지 한번 짚어 볼까요?

먼저, ‘요즘 기업’은 운영, 소비자와의 의사소통, 내부 역할 설계 방식 등을 바꾸었습니다. “데이터 기반”이나 “고객 통찰력”과 같은 전문 용어는 이제 이쪽에선 익숙하죠. 회사에서 고객 및 직원 행동에 대한 데이터를 정량화, 추적 또는 동기화하는 것을 묻는 직원을 마주친 사람도 있을 겁니다. 많은 이들의 업무 범위도 변했을 거예요. 정보를 수집하고, 저장하고, 해석하는 인터페이스를 더 많이 다루게 됐으니까요.

이런 변화를 보다 보면 조직이 ‘데이터의 황금기’에 접어들었다는 생각이 듭니다. ‘기술을 통한 정보 교환’은 더 이상 미래의 모습이 아닙니다. 기업이나 정부 같은 조직이 돌아가고, 일반 시민이 생활하는 방식이 다 기술로 정보를 교환하는 과정이니까요. 이걸 보고 세상이 ‘데이터의 정점’에 올라 있다고 말하는 사람도 있습니다.

빅데이터 도구의 등장

다량의 데이터를 ‘수집’하고 ‘작업’하는 조직은 많습니다. 하지만 ‘데이터 최적화’를 잘 하느냐는 또 다른 문제죠. 예를 들어, 어떤 지역으로 시장을 넓힐 재정적인 여력이 있는지를 확인하고 싶은 기업이 있다고 칩시다. C-suite(직함에 C가 들어가는 ‘높은 사람’을 뜻하는 말입니다. CEO, CFO 같은 사람들이요. C-Level이라고도 합니다.)는 그간 확보한 고객과 이탈한 고객의 수를 살펴볼 수 있습니다. 마케팅 부서라면 그 지역의 설문 조사와 포커스 그룹 응답을 분석할 수 있을 거고요. 또 해당 지역을 담당하는 영업 담당자라면 잠재 고객 대 실제 고객 수를 평가해 볼 수 있죠.

정보의 출처와 유형이 다르기 때문에 각 팀은 동일한 시장에 대해 서로 다른 결론을 내릴 수 있습니다. 그러니 만약 모든 정보 출처를 통합하는 데이터 도구와 인프라가 없다면? 이런 팀 단위 결론은 부정확할 수 있죠. 누가 틀렸다는 건 아니고, ‘큰 그림’을 보려면 동기화와 최적화가 필요하다는 말입니다.

The Science Times는 ‘데이터 옵저버빌리티(Data Observability)’ 도구를 사용하는 조직이 다량의 정보가 지닌 복잡성을 더 잘 이해할 수 있다고 이야기합니다. 사람들은 자기가 데이터에 기반해 ‘건전한’ 비즈니스 결정을 한다고 생각할 수 있지만, 데이터 자체에 품질 문제가 있다면 그걸 보고 내린 결정도 ‘건전’하다고 보장할 수 없습니다.

서로 다른 곳에서 나온 데이터를 관리하고 최적화하는 솔루션을 구축하는 데 관심을 보이는 이들이 늘어났습니다. 조직에 이러한 기능이 지금 당장 필요하다는 거죠. 직원들은 늘어나는 정보로부터 자신들을 ‘보호’할 방법을 찾아야 합니다. 데이터 옵저버빌리티는 사업의 문제를 예측, 예방 및 해결하는 데 도움이 될 수 있습니다. 잘못된 의사결정으로 발생하는 피해를 막을 수 있는 거죠.

‘실시간’ 인사이트의 가치가 높아지고 있다

비즈니스 리더는 과거 데이터를 기반으로 전략을 개발하는 데 익숙합니다. 시장 조사 회사나 광고 대행사가 정보를 수집하는 시점은 ‘최신’이 아닙니다. 여기 코로나19 사태를 모르는 사람은 없죠? 덕분에 우리는 데이터가 얼마나 빨리 무의미해질 수 있는지를 확인했습니다. 이때는 1년도 너무 길었죠. 선도적인 데이터 및 분석 혁신가 몇 명이 인터뷰에서 소비자 행동에 대한 예측 모델은 더 이상 작동하지 않는다는 견해를 내놓은 적도 있습니다.

예전에는 수요 예측 모델이 쓸 만했죠. 하지만 소비자의 선택과 행동은 불확실성의 영향을 많이 받습니다. 다음 주에 일자리를 얻을 수 있을지 의심하기 시작한 사람들은 누가 말하지 않아도 돈을 아끼기 시작할 거예요. 사람들이 내일 매장 진열대에 화장지가 있을지 의심하기 시작한다면? 당연히 오늘 화장지를 사재기하겠죠. 이런 두려움이 기우에 불과하다고 해도, 경제의 변동성이나 급격한 변화는 왜곡된 행동을 만들어낼 수 있습니다.

기업과 데이터 분석가는 2020년에 발생한 일 때문에 전략적 접근 방식과 정보 관행을 재고하고 있습니다. 과거 데이터와 해당 정보를 기반으로 한 예측에만 의존하지 않는 거죠. 기업은 더 정확한 조치를 취하기 위해 실시간 분석을(종종 ‘최전방’에서 나온 정보들에) 도입하고 있습니다.

대유행 초기에 일어난 것과 같은 급격한 거시경제적 변화는 즉각적인 수요 급증 혹은 감소로 이어질 수 있습니다. 레스토랑, 여행 및 숙박 산업은 사실상 전부 중단됐죠. 하지만 통신, 인터넷 및 화상 회의 서비스는 모두 엄청나게 성장했습니다.

The Science Times는 지금을 ‘실시간 신호에 적응하고 현재의 고객 요구 사항을 충족하기 위한 계획을 세우는 것이 그 어느 때보다도 중요한’ 시기로 보았습니다. ‘현재의’ 소비자를 이해할 수 없는 기업은 이제 뒤처질지도 모릅니다. 소비자 요구와 환경 요인은 언제든지 바뀔 수 있으니, 나중에 따라잡는 건 의미가 없습니다.

‘데이터 스킬’은 모든 직업에 침투했습니다.

The Science Times에 따르면, “사상가”와 “감정가” 또는 “분석적” 근로자와 “직관적” 근로자라는 분류 자체는 여전히 존재하지만 그 격차는 좁혀지고 있습니다. 직감이나 주관적인 경험에 근거한 결론은 이제 부족합니다. 더 많은 직업, 더 많은 직무가 정보와 상호 작용하고 정보에 의존하는 일을 필요로 하게 됐습니다.

보고서 작성 및 실행, 분석 사용 및 해석, 데이터 수집 방법 설계 등은 더 이상 IT만의 일이 아닙니다. 예전엔 데이터를 다루려면 전문 지식과 ‘특정한’ 직위가 필요했습니다. 이러한 역할 중 일부는 여전히 남아 있지만, 이제는 고객을 대면하는 직원이든 마케팅 전문가이든 모든 사람이 ‘분석’을 하고 있는 것 같습니다.

현재, 조작과 이해가 쉬운 인터페이스를 가진 웹 기반 도구는 일상적인 작업에 통합되어 있습니다. 설문조사를 수집하고 유기적 및 유료 웹사이트 트래픽을 보고하기 위한 프로그램과 대시보드가 ​​그 예시이죠. 그래픽 디자이너와 마케팅 매니저는 디지털 광고 성과를 성과 추세 그리고 데이터를 통해 확인할 수 있습니다. 소매업 및 서비스업 종사자는 솔루션을 제공하기 전에 ‘고객 평생 가치 점수’를 생성하는 프로그램을 돌려볼 수 있지요.

이러한 도구를 사용하고 데이터를 해석하고 이에 따라 행동하는 것은 핵심 직무 능력이 됐습니다. 지원자에게 특정 플랫폼 및 데이터 기술에 대한 어느 정도의 경험과 친숙함을 요구하는 회사도 많아졌죠. 이제 데이터에 대한 정보나 특정 도구 사용 경험을 우대한다는 내용이 빠진 직업 광고를 찾기는 어렵습니다.

2020년 IDG 설문 조사에 따르면 기업 데이터 양은 매달 63%씩 늘어납니다. 이런 상황에서, 전문가가 모든 것을 처리할 수는 없습니다. 소수의 부서나 팀이 그만한 정보를 관리하는 것은 실용적이지도, 효율적이지도 않죠. 조직의 이익에 맞게 데이터를 사용하고 최적화하려면 모든 이들이 협력하고, 서로를 도와줘야 합니다.

그래서 결론은?

The Science Times는 명백한 증거가 세계가 ‘데이터의 황금기’에 있다는 사실을 증명한다고 말했습니다. 수많은 곳으로부터 정보가 유입되며 실시간 소비자 인사이트는 과거 데이터보다 중요합니다. 조직의 거의 모든 직무가 기본 데이터 기술과 분석 소프트웨어를 능숙하게 다루는 능력을 요구합니다. 종합적으로, 수집된 정보를 관리하고 개선하는 데이터 옵저버빌리티와 빅 데이터 도구는 더이상 선택이 아닌 필수라는 겁니다.

---

There’s been a shift in how companies operate, interact with consumers, and design internal roles. If you’ve been paying attention, you may have heard buzzwords like “data-driven” and “customer insights” being thrown around. You might also have heard colleagues ask questions about quantifying, tracking, or syncing data about customer and employee behavior.

And you’ve probably noticed changes in many job scopes, as more deal with interfaces that collect, store, and interpret information. This all points to the idea that organizations have entered the golden age of data. Exchanging information via technology is no longer an afterthought. It’s ingrained into how businesses, governments, and everyday citizens operate and live. Here is why some believe the world is experiencing data’s peak.

The Emergence of Big Data Tools

While many organizations collect and work with large amounts of data, they’re not necessarily good at optimizing it. The C-suite might be looking at customer acquisition and churn numbers to decide whether a market expansion is fiscally possible. Meanwhile, the marketing department is analyzing surveys and focus group responses from the same area. And sales representatives responsible for the territory are evaluating the number of leads versus actual conversions.

Different sources and types of information might lead each team to distinct conclusions about the same market. Without data tools and infrastructure that bring all sources of information together, these teams’ conclusions could be incorrect. There might be disparate grains of truth in the findings, but it takes synchronization and optimization to see the big picture.

Organizations that use data observability tools are better able to understand the complexities that come from large amounts of information. You might think you’re making a sound business decision based on data. But if you have data quality issues, you won’t get the results you were hoping for.

An increased focus on building solutions that manage and optimize data from multiple sources shows that organizations have an immediate need for these capabilities. Employees must have a way to wrap their heads around the uptick in information. Data observability can help businesses predict, prevent, and even fix problems before they cause damage to your decisions.

Real-Time Insights Are Becoming More Valuable

Business leaders are used to developing strategies based on historical data. By the time a market research company or ad agency gathers information, it’s far from recent. It may only be a year old, but the global pandemic revealed just how fast data can become irrelevant. Predictive models for consumer behavior are no longer working, as explained in an interview with leading data and analytics innovators.

While forecasting models for demand have been reliable in the past, consumer choices and behaviors are highly influenced by uncertainty. If people start doubting they’ll have a job next week, they’ll automatically tighten their belts. If people start doubting there will be toilet paper on the store shelves tomorrow, they’ll put multiple packages in their carts today. Even if those fears are pure speculation, volatility in the economy or sudden changes can lead to skewed behaviors.

Companies and data analysts are rethinking their strategic approaches and information practices because of what occurred in 2020. They’re not just relying on historical data and predictions based on that information. Businesses are injecting real-time analytics, often from front-line sources, to make more accurate moves.

Rapid macroeconomic shifts like those that happened at the onset of the pandemic could lead to instantaneous surges or drops in demand. The restaurant, travel, and hospitality industries all experienced a near halt. Yet telecom, internet, and videoconferencing services all saw a massive jump.

It’s more critical than ever to adjust to real-time signals and have plans in place for meeting current customer needs. Businesses that can’t understand consumers in the here and now could get left behind. By the time these companies are done playing catch-up, consumer demands and environmental factors may have shifted again.

Data Skills Are Part of Everyone’s Job Description

While the separation between “thinkers” and “feelers” or “analytical” and “intuitive” workers still exists, the gap is closing. It’s not enough to base conclusions on your gut or subjective experiences. More roles and job descriptions include interacting with and relying on information.

Building and running reports, using and interpreting analytics, and designing data collection methods aren’t responsibilities only IT handles. In the past, dealing with data required specialized knowledge and narrowly defined positions. While some of these roles are still around, it seems everyone – whether customer-facing employee or marketing professional – is now using analytics.

Today web-based tools with interfaces that are easy to manipulate and understand are integrated into everyday tasks. There are programs and dashboards for collecting surveys and reporting organic and paid website traffic. Graphic designers and marketing managers can see performance trends and data for digital ad performance. Retail sales and customer service reps pull up programs that generate a customer lifetime value score before they offer solutions.

Using these tools, interpreting the data, and acting on it are core skills employees are expected to develop. More companies also require some experience and familiarity with specific platforms and data skills from candidates. It’s hard to find a job advertisement without something about data or a preference for experience with specific tools.

With corporate data volumes increasing by 63% each month, according to a 2020 IDG survey, specialized roles can’t handle everything. It’s impractical and inefficient to expect a few departments or teams to manage that amount of information. Ensuring data gets used and optimized to an organization’s benefit takes cooperation and support from all functions.

Conclusion

The signs that the world is living in the golden age of data are clear. Information flows in from innumerable sources, and real-time consumer insights are more valuable than historical data. Nearly all roles in organizations require baseline data skills and familiarity with software that produces analytics. This increasingly means data observability and big data tools that manage and improve gathered information aren’t options – they’re necessities.