[해외 DS] 중국, 세계에서 가장 큰 언어 모델 만들다?

최근 중국에서 발표한 언어 모델 WuDao 2.0, 세계 최대 대규모 언어 모델이라 주장해 벤치마크에서도 준수한 성능 보여… 중국, AI 자연어 처리 분야 선두주자 되나 Wudao 2.0, 성능 과시 위해 중국 ‘인공지능’ 학생 되어 학교에서 공부하기로 까지 해

pabii research

[해외DS]는 해외 유수의 데이터 사이언스 전문지들에서 전하는 업계 전문가들의 의견을 담았습니다. 저희 데이터 사이언스 경영 연구소 (MDSA R&D)에서 영어 원문 공개 조건으로 콘텐츠 제휴가 진행 중입니다.

사진= AI 비즈니스

최근 중국 AI 학계는 1조 7,500억 개의 매개변수로 이루어진 Google Brain을 능가하는 세계 최대의 언어 모델을 구축했다고 밝혔습니다.

WuDao 2.0은 지난 주 개최된 2021년 베이징 인공 지능 아카데미(BAAI) 컨퍼런스에서 공개되었습니다. 이 모델은 대화를 시뮬레이션하고, 시를 쓰거나 그림을 이해할 수 있다고 알려졌습니다.

Tsinghua University의 컴퓨터 과학과 교수 Taang Jie는 중국 국영 매체인 Xinhua에서  “WuDao 2.0은 중국 최초이자 세계에서 가장 큰 규모 모델”이라고 전했습니다.

세계에서 가장 언어 모델

연구자들은 WuDao 2.0은 9가지의 벤치마크 테스트에서 훌륭한 성능을 보였다고 말했습니다.

Taang은 “해당 연구를 통해 인류는 사람처럼 생각하는 범용인공지능 개발까지 한 걸음 더 가까워졌다”며, “우리 연구를 통해 개발자들이 누구나 쉽게 인공지능을 사용할 수 있는  AI 생태계를 구축해줄 것을 기대한다”고 말했습니다. 연구자 및 기업이라면 누구나 무료로 언어 모델 사용을 신청할 수 있습니다.

이전에도 중국에서 대규모 언어 모델을 만드려는 시도가 없었던 것은 아닙니다.

지난 4월 중국 테크 대기업 화웨이는 Pangu NLP를 공개한 바 있습니다. Pangu-Alpha는 OpenAI의 GPT-3보다는 규모가 크지만, Google Brain의 1조 6000억 매개 변수보다는 작은 2,070억 개의 매개 변수로 훈련되었습니다.

AI, 학교에 가다

WuDao 2.0의 연구자들은 모델의 잠재력을 보여주기 위한 차원에서 WuDao 2.0이 중국 최초의 ‘인공지능 학생’이 될 것이라 전했습니다.

이어 연구자들은 인공지능 학생의 이름은 Hua Zhibing으로, 심지어 이 모델은 얼굴, 목소리, 배경 음악을 가지고 있다고 밝혔습니다.

Tang은 “Hua Zhibing은 일반 학생보다 더 빨리 성장하고 배우며 올해 6세 수준에서 학습을 시작하면 1년 안에 12세 수준의 학습능력을 기대할 수 있을 것”이라 말했습니다.

또한 그는 “Hua Zhibing이 논리적 추론과 사람과의 감정적 상호 작용 측면에서도 유의미한 성능을 보여주길 바란다”고 덧붙였습니다.

Hua Zhibing은 Tsinghua University의 Tang 부서에서 공부할 예정입니다.


WuDao 2.0 becomes the basis for China’s first ‘virtual student’

Chinese academics claim to have built the world’s largest language model, with 1.75 trillion parameters – besting previous record holder, Google Brain.

The WuDao 2.0 model was unveiled at the 2021 Beijing Academy of Artificial Intelligence (BAAI) Conference last week. It is capable of simulating conversational speech, writing poems and understand pictures.

Google’s Switch Transformer, announced in January, featured 1.6 trillion parameters.

“WuDao 2.0 is the first trillion scale model in China and the largest in the world,” professor Tang Jie, Tsinghua University’s Computer Science director told Chinese state media outlet Xinhua.

Size matters

WuDao 2.0 is said to have achieved “excellent results” in its nine benchmark tasks. Taang went as far as to suggest the model “aims to enable machines to think like humans, move toward universal AI and allow developers to build an AI application ecosystem.”

Any researchers and enterprises can apply to use the language model for free.

This wasn’t the first sizeable language model to come out of China in recent months.

In April, Chinese tech giant Huawei unveiled what it called the world’s largest Chinese NLP model, Pangu NLP. PanGu-Alpha was trained with 207 billion parameters – larger than OpenAI’s impressive GPT-3, but considerably smaller than Google Brain’s 1.6 trillion parameter monster.

AI’m off to school

To show off the model’s potential, WuDao 2.0 became the basis for China’s first “virtual student.”

The digital avatar was named Hua Zhibing, and the model was used to develop its appearance, voice, and background music, as well as art.

According to Tang, the virtual student will grow and learn faster than an average human student. If she begins learning at the level of a six-year-old this year, she will be at the level of a twelve-year-old in a year.

“We hope that she will master skills first and then seek breakthroughs in reasoning and emotional interaction,” he said.

The virtual student will ‘study’ in Tang’s department at the Tsinghua University.

Similar Posts