[해외DS] AI 인간 평가 단계, 중요성 크지만 투자는 가장 적어

아펜, 해리스폴과 ‘2022 AI 및 머신 러닝 현황 보고서’ 펴내 개발자 대부분이 인간 참여형 머신 러닝 중요성 동의했지만 예산은 충분치 않아 보고서, “더 많은 예산 배정하면 기업 비용과 시간 절약되고, 미래 재평가 가능성도 줄어들 것”

2
pabii research

[해외DS]는 해외 유수의 데이터 사이언스 전문지들에서 전하는 업계 전문가들의 의견을 담았습니다. 저희 데이터 사이언스 경영 연구소(MDSA R&D)에서 영어 원문 공개 조건으로 콘텐츠 제휴가 진행 중입니다.

사진=AI 비즈니스

최근 호주의 데이터 회사 아펜(Appen)과 미국의 여론 조사 업체 해리스폴(The Harris Poll)이 펴낸 ‘AI 및 머신 러닝 현황 보고서(The State of AI and Machine Learning Report)’에 따르면 인간 참여형(human-in-the-loop) AI 모델 평가 단계는 모델의 정확도를 평가하는 측면에서 아주 중요하지만, AI 개발 단계를 전부 통틀어 가장 적은 자금이 투입되는 단계이기도 합니다.

또한 해당 보고서는 설문 조사에 참여한 개발자의 81%가 인간 참여형 머신 러닝이 아주(very), 혹은 굉장히(extremely) 중요하다고 생각하며, 97%는 인간 참여형 AI 모델 평가가 모델의 정확성에 중요하다는 답변을 내놓았다고 밝혔습니다.

하지만 그 중요성에도 불구하고 인간의 모델 평가에 배정된 예산은 가장 적은 수준이었습니다. 설문 조사에서 약 40%의 응답자는 인간이 모델을 평가하는 단계, 즉 모델 개발의 가장 마지막 단계에 들어가는 자금이 가장 적다는 데 동의했습니다.

보고서는 “예산 할당과 인간 개입의 중요성 사이에는 간극이 존재한다”며 “인간 참여 기반의 모델 평가는 AI의 정확성을 높이고, 모델이 필요로 하는 데이터의 양을 줄일 수 있다”고 설명했습니다.

아울러 “인간 참여형 AI 모델 평가에 더 많은 예산을 배정하면 기업은 비용과 시간을 절약하고, 미래에 재평가를 시행할 가능성도 획기적으로 줄일 수 있을 것”이라고 밝혔습니다.

보고서의 다른 주요 내용은 아래와 같습니다.

  • 기술자와 비즈니스 리더 간의 소통 단절: 기술자의 42%가 데이터 소싱이 “매우 어렵다”고 대답했지만 비즈니스 리더는 24%만이 같은 답변을 내놓았습니다.
  • 데이터 정확도는 AI의 성공에 “중요(critical)”하지만 응답자의 6%만이 데이터 정확도가 90% 이상이라고 답했습니다.
  • 응답자의 93%는 책임 있는 AI(responsible AI)가 조직의 모든 AI 프로젝트의 기반이라는 데 동의했습니다.
“인간 참여형 AI 모델 평가 단계는 얼마나 중요한가?” 의 결과/사진=The State of AI and Machine Learning Report

한편 아펜은 조직의 88%가 외부의 데이터 공급자를 활용해 시스템을 모니터링하고 평가한다는 사실을 발견했습니다. 뿐만 아니라 2021년에는 조직의 86%가 최소한 분기에 한 번씩 모델을 업데이트 한다고 응답했는데, 올해 조사에서는 그 비율이 91%로 늘어났다고 합니다.

설문 조사에 참여한 조직의 약 92%는 올바른 ‘데이터 파트너’를 찾는 것이 모델의 성공적인 배포 및 검증에 중요하다는 데 동의했습니다. 아울러 약 83%는 하나의 파트너가 모델 개발의 모든 단계를 지원하기를 원한다고 대답했습니다.

또한 조직의 93%가 “기술과 전문 지식은 (모델) 개발의 각 단계에서 고품질의 결과를 얻는 데 중요하다”는 질문에 동의했고, 51%는 “매우 동의한다”고 응답했습니다. 보고서는 해당 통계를 제시하며 기술과 전문 지식을 갖춘 올바른 파트너를 찾는 것이 굉장히 중요하다고 강조했습니다.

책임 있는 AI의 중요성

앞서 언급했듯 이번 설문 조사에서는 10명 중 9명이 ‘책임 있는 AI’가 조직 내 모든 AI 프로젝트의 기반이라고 인정했습니다. 하지만 실제로 “조직이 책임 있는 AI를 사용하기 위해 노력하고 있는가”라는 질문에 “강력히 동의(strongly agree)”한다고 응답한 조직은 절반에 조금 못 미치는 49%가량이었고, “어느 정도 동의(somewhat agree)”한다고 응답한 조직은 44% 정도였습니다.

거의 모든(97%) 조직은 포괄적인 데이터 셋을 만드는 데 합성 데이터(synthetic data; 실제 데이터의 대체재. 컴퓨터 혹은 알고리즘이 실제 데이터를 반영해 생성하는 데이터를 뜻하며 모델 훈련에 많이 사용됨)가 중요하다고 답변했습니다. 또한 조직의 39%는 데이터 다양성이 굉장히 중요하다고 응답했습니다.

보고서는 “데이터 다양성의 중요성과 편견을 줄이려는 움직임이 이어지고 있습니다”며 “각 시장의 AI 기술이 성숙됨에 따라 전 세계적으로 이러한 새로운 데이터 형식을 주시하는 관점이 새롭게 나타날 것”이라고 예측했습니다. 향후 전 세계적으로 데이터 다양성과 합성 데이터의 중요성이 점점 커질 것이라는 의미입니다.

아펜의 엔터프라이즈 솔루션 부사장 에릭 보그트(Erik Vogt)는 “데이터 윤리는 정도를 걷는 것만이 아니라 기여자(contributor)에서 소비자에 이르기까지, 가치 사슬을 따라 모든 사람의 신뢰와 안전을 유지하는 것”이라고 밝혔습니다.


Keeping humans in the loop when evaluating AI models is critical for model accuracy, but it is also the least funded stage of their lifecycle, according to a new report from Appen and The Harris Poll.

The State of AI and Machine Learning Report states that 81% of surveyed developers believe human-in-the-loop machine learning is very or extremely important with 97% reporting that human oversight in evaluation is important for accurate model performance.

Despite the importance of oversight, human model evaluation was found to have been allocated the least amount in the budget, with some 40% of respondents admitting it is their least funded to the final stage of the model’s lifecycle.

“There is a gap between budget allocation and the importance of human-in-the-loop,” according to the report. “Model evaluation is critical to ensuring that the AI model is accurate and reduces the need to source more data.”

“By spending more budget on human-in-the-loop up front, companies will save money, time and will be less likely to require re-evaluations in the future.”

Other key takeaways:

  • Disconnect between technologists and business leaders: 42% of technologists say data sourcing is “very challenging” compared to just 24% of business leaders
  • Data accuracy is “critical” to the success of AI, but only 6% of respondents have accuracy rates higher than 90%.
  • 93% agree that responsible AI is a foundation for all AI projects in their organization

Appen also discovered that 88% of organizations use external data providers to monitor and evaluate systems. Also, 86% of organizations updated their models at least quarterly in 2021. That number increased to 91% in this year’s edition of the report.

Around 92% of surveyed organizations agreed that finding the right data partner is critical to successfully deploying and validating a model. Further, some 83% admitted to wanting one single partner to support all stages of the lifecycle.

Appen’s report also suggests that finding the right partner with the technology and expertise is crucial to successful high-quality results: 93% agreed that technology and expertise at each stage of the lifecycle are important to get high-quality results − with 51% strongly agreeing.

Importance of responsible AI

Nine out of 10 admitted that responsible AI is a foundation for all AI projects within their organization. But just under half (49%) strongly agreed that their organization was committed to using responsible AI, while 44% said they somewhat agree.

Almost all (97%) said that synthetic data is important to creating inclusive datasets, with 39% considering data diversity as being extremely important.

“With the importance of data diversity and desire to reduce bias, we predict this level of interest in new data formats will be mirrored globally as each market reaches maturity in their AI initiatives,” the report said.

“Data ethics isn’t just about doing the right thing, it’s about maintaining the trust and safety of everyone along the value chain from contributor to consumer,” said Erik Vogt, vice president of enterprise solutions at Appen.

Similar Posts