[해외DS] 딥마인드 AI, 이제는 스스로 새로운 알고리즘 발견한다

알파제로 기반으로 구축된 알파텐서, 기존 행렬 곱셈 방법보다 효율적인 방법 찾아내 알파고 때보다 경우의 수 30배 많아, 기존 알고리즘 지식 없이도 강화 학습만으로 효율화 성공 딥마인드, 다른 기본적인 연산 위한 새로운 알고리즘 찾는 후속 연구 바란다고 밝혀

pabii research

[해외DS]는 해외 유수의 데이터 사이언스 전문지들에서 전하는 업계 전문가들의 의견을 담았습니다. 저희 데이터 사이언스 경영 연구소 (MDSA R&D)에서 영어 원문 공개 조건으로 콘텐츠 제휴가 진행 중입니다.

사진=AI Business

알파벳(Alphabet) 자회사이자 알파폴드(AlphaFold; 단백질 폴드를 연구하는 AI 프로그램)를 만든 딥마인드(DeepMind)가 최근 새로운 AI 시스템 알파텐서(AlphaTensor)를 공개했습니다. 알파텐서는 ML 애플리케이션의 중요한 계산 방식인 행렬 곱셈 알고리즘을 개선하는 성과를 올리며 세간의 이목을 끌었습니다.

알파텐서는 에이전트 기반 시스템(agent-based system)으로, 체스나 바둑 같은 게임을 할 수 있는 딥마인드의 또다른 AI 프로그램 알파제로(AlphaZero)를 기반으로 구축됐습니다. 즉 알파텐서는 최신 버전의 알파제로인 건데, 네이처(Nature)에 발표된 관련 논문에 따르면 연구진은 계산 과학을 위해, 즉 행렬 곱셈 같은 작업에 활용될 수 있는 새로운 알고리즘을 찾아내기 위해 알파텐서를 개발했습니다.

행렬 곱셈은 이미지 처리나 음성 인식 같은 ML 분야에 자주 적용되는 대수 연산입니다. 실제로 많은 AI 애플리케이션과 신경망이 행렬 곱셈을 활용해 만들어졌습니다.

딥마인드는 블로그를 통해 “전 세계의 많은 기업들이 행렬 곱셈을 효율적으로 수행하는 컴퓨팅 하드웨어를 개발하는 데 많은 시간과 비용을 들이고 있다”며 “행렬 곱셈의 계산 속도가 조금만 개선돼도 알고리즘 측면에서 어마어마한 변화를 기대할 수 있다”고 주장했습니다.

알파텐서의 작동 방식/사진=AI Business

이어 그는 “알파텐서는 다양한 크기의 행렬에 적용될 수 있는, 현재 이용되는 알고리즘보다 효율적인 알고리즘을 찾아아냈다”며 “AI가 설계한 알고리즘은 인간이 설계한 것을 능가하고, 이는 알고리즘 탐색 분야에서 중요한 의미를 갖는다”고 강조했습니다.

딥마인드 연구진은 알고리즘 탐색 과정을 숫자가 나열된 일종의 3차원 싱글 플레이어 보드게임으로 표현해 해당 연구의 돌파구를 찾았다고 전했습니다. 행렬 곱셈 규칙은 보드게임의 규칙이 됐고, AI 시스템은 이 규칙을 기반으로 3차원 텐서를 수정하고 텐서 값을 0에 가깝게 만드는 방법을 모색했습니다. 그 결과 “’증명 가능한 정확한 행렬 곱셈 알고리즘’이 개발됐습니다.

알파고(AlphaGo)보다 훨씬 더 어려운 작업

행렬 곱셈 방법은 사실 무한히 많습니다. 그래서 그 중 어떤 것이 가장 효율적인지를 찾는 것은 쉽지 않은데, 기존에는 1969년 독일 출신 수학자 포커 슈트라센(Volker Strassen)이 제시한 방법이 가장 효율적이라고 여겨졌습니다.

딥마인드는 이러한 무한성, 그리고 이 게임의 경우의 수가 바둑에서의 경우의 수보다 30배나 많다는 점을 언급하며 이 게임은 ‘놀랍도록 도전적’이었다고 평가했습니다.

또 알파텐서는 게임을 시작할 때 기존 알고리즘에 대한 지식을 하나도 갖고 있지 않았습니다. 하지만 강화 학습을 통해 개선을 거듭하여 결국 현존하는 방식을 뛰어넘었습니다.

딥마인드는 4×5 행렬에 5×5 행렬을 곱하는 경우에 학교에서 가르치는 ‘전통적인 알고리즘’에 따르면 100번, 인간이 독창적으로 개발한 알고리즘에 따르면 80번의 곱셈이 필요하지만 알파텐서는 그 횟수를 76번으로 줄였다며, 해당 연구 결과에 대한 자신감을 드러냈습니다.

알파텐서는 특정한 하드웨어를 요구하지 않는데, 딥마인드에 따르면 Nvidia V100 GPU나 Google TPU v2 정도의 하드웨어면 실행 가능하다고 전했습니다.

딥마인드는 “알파텐서는 임의의 목표를 최적화하는 측면에서 유연성이 뛰어나기 때문에 동일한 하드웨어에서 일반적으로 사용되는 알고리즘보다 10% 내지 20% 빨리 대형 행렬 연산을 수행할 수 있다”고 말했습니다. 아울러 이번 성과가 다른 기본적인 연산에 활용되는 새로운 알고리즘을 찾아내는 후속 연구를 활성화하는 계기가 되길 바란다고 전했습니다.

한편 딥마인드는 알파텐서를 출시하기 전 대화 에이전트 스패로우(Sparrow)를 내놓은 바 있습니다. 스패로우는 사용자에게 안전하고 현명한 응답을 하도록 설계됐습니다.


DeepMind, the Alphabet-owned company behind AlphaFold, has unveiled AlphaTensor, an AI system that can discover new matrix multiplication algorithms that are critical computationally to ML applications.

AlphaTensor is an agent-based system built off AlphaZero, the DeepMind AI capable of playing games such as chess and Go. The latest refinement of AlphaZero is designed with computational science in mind – built to discover new algorithms for tasks like matrix multiplication, according to a paper published in Nature.

Matrix multiplication is an algebraic operation often applied in ML use cases such as image processing and speech recognition. It’s used in several AI applications and neural networks.

“Companies around the world spend large amounts of time and money developing computing hardware to efficiently multiply matrices. So, even minor improvements to the efficiency of matrix multiplication can have a widespread impact,” the company said in a blog.

“AlphaTensor discovered algorithms that are more efficient than the state of the art for many matrix sizes” and its AI-designed algorithms “outperform human-designed ones, which is a major step forward in the field of algorithmic discovery.”

The researchers made the process of finding algorithms into a single-player game where the board is a three-dimensional tensor or array of numbers. Through algorithm rules that specify allowed moves, the AI system figured out how to modify the tensor and “zero out its entries.” The result is a “provably correct matrix multiplication algorithm.”

Orders of magnitude more than Go

DeepMind said the game was “incredibly challenging,” with the number of possible algorithms “much greater” than the number of atoms in the universe and the number of possible moves at each step of the game 30 orders of magnitude greater than Go.

Through reinforcement learning, AlphaTensor played the game without any knowledge about existing algorithms but improved over time until it surpassed current techniques for uncovering matrices.

“For example, if the traditional algorithm taught in school multiplies a 4×5 by 5×5 matrix using 100 multiplications, and this number was reduced to 80 with human ingenuity, AlphaTensor has found algorithms that do the same operation using just 76 multiplications,” DeepMind claimed.

The AI system was designed to work on various hardware, with DeepMind saying it can be used on Nvidia V100 GPUs and Google TPU v2s.

“These algorithms multiply large matrices 10% to 20% faster than the commonly used algorithms on the same hardware, which showcases AlphaTensor’s flexibility in optimizing arbitrary objectives,” the Google-owned company said.

After focusing on matrix multiplication, DeepMind said it hopes to inspire others to use AI to guide algorithmic discovery for other fundamental computational tasks.

The release of AlphaTensor comes hot off the heels of DeepMind’s Sparrow, a dialogue agent designed to respond to users safely and sensibly.

Similar Posts