[해외DS] 생물학의 가장 큰 문제 하나가 마침내 해결되다 (1)

[해외DS]는 해외 유수의 데이터 사이언스 전문지들에서 전하는 업계 전문가들의 의견을 담았습니다. 저희 데이터 사이언스 경영 연구소 (MDSA R&D)에서 영어 원문 공개 조건으로 콘텐츠 제휴가 진행 중입니다.

‘구조가 기능을 결정한다’, 생물학의 오래된 격언입니다. 우리 몸에서 단백질은 수없이 많은 일을 합니다. 건강한 사람의 몸에서 중요한 역할을 수행하고, 질병에 걸린 사람의 몸에서는 기능 장애를 일으키는 것 등이 그 예시입니다. 이러한 단백질의 기능을 이해하기 위해서는 먼저 단백질의 분자 구조를 결정해야 합니다. 하지만 단백질 분자 구조 결정은 과학자들에게도 쉬운 일이 아닙니다.

단백질 분자는 최대 수천개의 아미노산이 포함된 길고 구불구불한 사슬로 구성되어 있습니다. 엄청난 수의 3차원 형태를 갖고 있는 건데, 이는 화학적 화합물이 다양한 방법으로 상호작용한 결과물입니다. 단일 단백질의 구조를 파악하거나 ‘단백질 접힘 문제’를 해결하기 위해서는 몇 년 동안 까다로운 실험을 해야 할 수도 있습니다.

그러나 지난해, Alphabet의 모회사 DeepMind가 출시한 인공지능 프로그램 AlphaFold가 약 2억개에 이르는 단백질의 3차원 구조를 예측하는 성과를 거뒀습니다. 당시 알려진 거의 모든 단백질의 구조를 예측한 건데, 덕분에 기본 분자 생물학에 대한 이해 확장에서 신약 개발 가속화에 이르기까지 다양한 응용 분야에 접근할 수 있게 됐습니다. DeepMind CEO Demis Hassabis와 수석연구원 John Jumper는 이러한 성과를 인정받아 올해의 생명 과학 혁신상(Breakthrough Prizes) 중 하나를 공동 수상하기도 했습니다. 상금이 무려 300만 달러였다고 합니다.

AlplaFold는 지난 2016년, DeepMind가 개발한 또다른 AI AlphaGo가 세계 바둑 챔피언 이세돌을 꺾고 헤드라인을 장식한 직후에 개발됐습니다. 바둑에서 분자 생물학이라니 좀 놀랍긴 한데, Hassabis은 ‘과학의 중요한 문제를 해결할 수 있는 AI를 개발하는 것’이 DeepMind의 변하지 않는 목표였다고 말했습니다. DeepMind는 아미노산 서열을 가진 거의 모든 종의 단백질 구조를 만들었고, 이를 자유롭게 사용할 수 있도록 공개 데이터베이스에 풀었습니다.

Scientific American은 이번 인터뷰에서 DeepMind CEO Demis Hassabis와 이야기를 나눴습니다. AlphaFold 개발, 가장 흥미로운 ‘잠재적 응용 프로그램’ 그리고 고도로 정교해진 AI의 윤리적인 문제에 대한 Hassabis의 생각을 정리했습니다.

[편집된 인터뷰 내용이 이어집니다.]

왜 Alpha-Fold를 만들겠다고 결심하셨나요? Alpha-Fold는 어떻게 알려진 거의 모든 단백질의 접힘을 예측할 수 있었나요?

저희 프로젝트는 서울에서 열린 AlphaGo 경기에서 세계 (바둑) 챔피언 이세돌을 꺾고 돌아온 지 대략 하루 만에 시작됐습니다. 저는 AlphaGo 프로젝트 책임자인 Dave Silver와 이야기를 나누면서 ‘DeepMind는 이제 어떤 ‘큰 프로젝트’를 수행해야 하는가’에 대해 논의했습니다. 저는 (AlphaGo를 통해) DeepMind가 게임 AI의 ‘정점’을 어느 정도 해결했다고 생각했는데, 그렇게 때문에 이제는 과학의 정말 어려운 일을 다뤄야 할 시점이라는 결론을 내렸습니다. 이제는 AI를 현실에 적용하고 싶다는 생각을 한 겁니다. DeepMind의 사명은 항상 많은 문제에 적용할 수 있는, 범용 알고리즘을 개발하는 것이었습니다. 여러 가지 이유 때문에 AI를 개발하고 게임에서 테스트하는 것이 더 효율적이어서 게임 분야에서 시작한 것뿐이지, 게임은 그저 최종 목표, 즉 AlphaFold 같은 AI를 개발한다는 목표에 다가가기 위한 단계에 불과했습니다.

이 프로젝트는 CASP14(제14회 Critical Assessment of Structure Prediction, 단백질 접힘 대회) 이전에 약 5~6년 동안 진행된 대규모 프로젝트입니다. CASP13 대회 때 우리는 이전 버전을 가지고 있었는데, 이것이 AlphaFold 1입니다. 아시겠지만 AlphaFold 1은 그야말로 최첨단이었습니다. 기존에 존재하던 그 어떤 프로그램보다 훨씬 더 나은 성능을 발휘했죠. 저는 AlphaFold 1이 이 문제(단백질 접힘 문제)를 해결하기 위해 시스템의 핵심 구성 요소에 머신 러닝을 도입한 최초의 사례 중 하나라고 생각합니다. AlphaFold 1은 저희에게 보다 멀리 나아갈 수 있다는 자신감을 주었습니다. 저희는 AlphaFold 2를 개발하기 위해 많은 부분을 재설계하고, 새로운 아이디어를 많이 집어넣고, 단백질 접힘 분야를 연구하는 생물학자/화학자/생물물리학자를 비롯해 좀더 많은 전문가를 팀에 영입해 엔지니어링 및 머신 러닝 팀과 협업시켜야 했습니다.

저는 제 모든 경력을 일반(general) AI 연구에 바쳤습니다. 심지어는 대학 때도 그랬죠. 저는 ‘언젠가는 우리가 구축하는 알고리즘으로 해결될’ 것 같은 과학적 문제를 메모하는 버릇을 갖고 있는데, 이 단백질 접힘 문제는 1990년대부터 항상 그 안에 포함됐습니다. 정말 많은 생물학자 친구들이 항상 제게 이 문제를 이야기하곤 했습니다.

AlphaFold는 그야말로 엄청나게 성공했는데, 놀라셨나요?

네, 사실 놀랐습니다. AlphaFold는 분명 우리가 했던 일 중 가장 어려웠고, 우리가 지금까지 구축한 시스템 중 가장 복잡한 시스템이기 때문입니다. AlphaFold에 대한 추가적인 정보와 기술적인 세부 사항을 비롯한 모든 방법을 설명하는 네이처 논문은 무려 60페이지나 됩니다. 그리고 AlphaFold에는 서로 다른, 필수적인 구성 요소 알고리즘 32개가 포함되는데, 전부 상당히 복잡한 아키텍처이고 ‘혁신’도 많이 필요했습니다. 그래서 시간이 오래 걸린 겁니다.

여기서 중요한 건 서로 다른 배경과 분야에서 이와 같은 다양한 ‘입력(input)’을 받는 작업이었습니다. 그리고 저는 DeepMind가 이런 입력을 하나로 혼합하는 작업에 있어 타의 추종을 불허한다고 생각합니다. 단순히 머신 러닝과 엔지니어링만을 하는 곳이 아니죠.

그렇지만 어려운 시기도 있었습니다. AlphaFold 1을 개발한 이후였는데, 저희는 먼저 AlphoFold 1을 최대한 밀어붙이려고 했습니다. 그렇지만 CASP13 이후 약 6개월 만에 어떤 특정한 ‘원자 정확도(atomic accuracy)’, 즉 실제로 문제를 해결하고 실험자와 생물학자에게 유용한 수준에 도달하는 게 불가능함을 깨달았습니다. 그래서 저는 다시 설계 단계로 돌아가서 작동 가능한 부분과 작동 불가능한 부분 등 저희가 얻은 지식을 정리하겠다고 결정했습니다. 또한 경험과 지식에 기반해 브레인스토밍 단계에 근접하는 수준까지 돌아갈 수 있을지, 수많은 새로운 아이디어와 새로운 아키텍처를 제시할 수 있을지 확인해 보겠다는 결정도 내렸습니다. 저희는 실제로 그렇게 했고, 결국에는 효과를 봤습니다.

하지만 이렇게 재설정을 했음에도 한 6개월에서 1년 동안은 상황이 오히려 악화됐습니다. 초기 AlphaFold 2 시스템은 AlphaFold 1보다 훨씬 부족했습니다. 시스템의 정확도가 떨어지는 것처럼 보이는 시기는 누군가에게는 악몽일 수 있습니다. 하지만 다행스럽게도 저희는 이전에 게임, 그리고 다른 모든 AI 시스템을 구축하면서 같은 경험을 했습니다. 저는 저희가 그 ‘죽음의 계곡’을 넘어서 건너편으로 나아가는 것을 똑똑히 보았습니다.

AlphaFold가 어떻게 작동하는지 아주 간단히 설명해 주실 수 있나요?

좀 복잡합니다. 그리고 저희는 확실히, 많은 걸 모르고 있죠. AlphaFold 2가 화학 및 물리학 구조에 내포된 무언가를 학습하고 있다는 것은 분명합니다. 무엇이 ‘그럴듯할 수 있는지’도 어느 정도 알고 있죠. AlphaFold 2는 우리가 알고 있는 실제 단백질 구조를 관찰하면서 학습했습니다. 하지만 여기에 저희가 가진 혁신 중 하나가 추가됐습니다. 바로 ‘자체 증류(self-distillation)’, 즉 AlphaFold 2의 극 초기 버전을 사용해 많은 구조를 예측하고 이러한 예측의 신뢰 수준까지 예측하는 작업입니다.

저희는 또한 다중 시퀀스(multisequence) 정렬 프로세스를 사용해 (AlphaFold 2가) 진화의 역사뿐 아니라 화학 결합 각도를 이해하도록 만들었습니다. 가능한 단백질 구조의 범위를 좁히는 데 도움이 되는, 몇 가지 제약을 추가하기 위해서였죠. 무차별 대입만으로 해결하기에는 검색 범위가 지나치게 큽니다. 하지만 분명한 건, 단백질은 나노초 혹은 밀리초 단위로 접히기 때문에 실제 물리학은 어떻게 해서든 이 문제를 해결한다는 겁니다. 실질적으로, 저희는 출력 샘플로 학습하는 과정을 통해 해당 프로세스를 ‘리버스 엔지니어링’하려고 합니다. 저는 AlphaFold가 분자 물리학과 화학에 대한, 꽤 깊은 무언가를 포착했다고 생각합니다.

[해외DS] 생물학의 가장 큰 문제 하나가 마침내 해결되다 (2)로 이어집니다.

---

There’s an age-old adage in biology: structure determines function. To understand the function of the myriad proteins that perform vital jobs in a healthy body—or malfunction in a diseased one—scientists have to first determine these proteins’ molecular structure. But this is no easy feat: protein molecules consist of long, twisty chains of up to thousands of amino acids, chemical compounds that can interact with one another in many ways to take on an enormous number of possible three-dimensional shapes. Figuring out a single protein’s structure, or solving the “protein-folding problem,” can take years of finicky experiments.

But last year an artificial-intelligence program called AlphaFold, developed by the Alphabet-owned company DeepMind, predicted the 3-D structures of almost every known protein—about 200 million in all. DeepMind CEO Demis Hassabis and senior staff research scientist John Jumper were jointly awarded one of this year’s $3-million Breakthrough Prizes in Life Sciences for the achievement, which opens the door for applications that range from expanding our understanding of basic molecular biology to accelerating drug development.

DeepMind developed AlphaFold soon after its AlphaGo AI made headlines in 2016 by beating world Go champion Lee Sedol at the game. But the goal was always to develop AI that could tackle important problems in science, Hassabis says. DeepMind has made the structures of proteins from nearly every species for which amino acid sequences exist freely available in a public database.
Scientific American spoke with Hassabis about developing AlphaFold, some of its most exciting potential applications and the ethical considerations of highly sophisticated AI.

[An edited transcript of the interview follows.]

Why did you decide to create Alpha-Fold, and how did you get to the point where it can now fold practically every known protein?

We pretty much started the project roughly the day after we came back from the AlphaGo match in Seoul, where we beat Lee Sedol, the world [Go] champion. I was talking to Dave Silver, the project lead on AlphaGo, and we were discussing “What’s the next big project that DeepMind should do?” I was feeling like it was time to tackle something really hard in science because we had just solved more or less the pinnacle of games AI. I wanted to finally apply the AI to real-world domains. That’s always been the mission of DeepMind: to develop general-purpose algorithms that could be applied across many, many problems. We started off with games because it was more efficient to develop AI and test things out in games for various reasons. But ultimately that was never the end goal. The end goal was to develop things like AlphaFold.

It’s been a mammoth project—about five or six years’ worth of work before CASP14 [the 14th Critical Assessment of Structure Prediction, a protein-folding competition]. We had an earlier version at the CASP13 competition, and that was AlphaFold 1. That was state of the art, you know, a good deal better than anyone had done before and I think one of the first times that machine learning had been used as the core component of a system to try to crack this problem. That gave us the confidence to push it even further. We had to reengineer things for AlphaFold 2 and put a whole bunch of new ideas in there and also bring onto the team some more specialists—biologists and chemists and biophysicists who worked in protein folding—and combine them with our engineering and machine-learning team.

I’ve been working on and thinking about general AI for my entire career, even back at university. I tend to note down scientific problems I think one day could be amenable to the types of algorithms we build, and protein folding was right up there for me always, since the 1990s. I’ve had many, many biologist friends who used to go on about this to me all the time.

Were you surprised that AlphaFold was so successful?

Yeah, it was surprising, actually. It’s definitely been the hardest thing we’ve done, and I would also say the most complex system we’ve ever built. The Nature paper that describes all the methods, with the supplementary information and technical details, is 60 pages long. There are 32 different component algorithms, and each of them is needed. It’s a pretty complicated architecture, and it needed a lot of innovation. That’s why it took so long. It was important to have all these different inputs from different backgrounds and disciplines. And I think something we do uniquely well at DeepMind is mix that together—not just machine learning and engineering.

But there was a difficult period after AlphaFold 1. We first tried to push AlphaFold 1 to the maximum. And we realized about six months after CASP13 that it was not going to reach the atomic accuracy we wanted to actually solve the problem and be useful to experimentalists and biologists. So I made the decision that we needed to go back to the drawing board and take the knowledge we had acquired, including where it worked and where it didn’t work, and then see if we could go back to almost a brainstorming stage with that experience and that knowledge and come up with a whole bunch of new ideas and new architectures. We did that, and ultimately that worked.

But for about six months to a year after that reset, things got worse, not better. The AlphaFold 2 system, the early one, was much worse than AlphaFold 1. It can be very scary during the period where you seem to be going backward in terms of accuracy. Fortunately, that’s where our experience in games and all the other AI systems we built before came into play. I’d seen us go through that valley of death and then get out the other side.

Can you explain, on a very simple level, how AlphaFold works?

It’s a pretty complicated thing. And we don’t know a lot of things for sure. It’s clear that AlphaFold 2 is learning something implicit about the structure of chemistry and physics. It sort of knows what things might be plausible. It’s learned that through seeing real protein structures, the ones that we know of. But one of the innovations we had was to do something called self-distillation, which is to get an early version of AlphaFold 2 to predict lots of structures—and to predict the confidence level in those predictions.

One of the things we built in was this understanding of chemical bond angles, as well as evolutionary history, using a process called multisequence alignment. These bring in some constraints, which help to narrow the search space of possible protein structures. The search space is too huge to solve it by brute force. But obviously real-world physics solves this somehow because proteins fold up in nanoseconds or milliseconds. Effectively, we’re trying to reverse engineer that process by learning from the output examples. I think AlphaFold has captured something quite deep about the physics and the chemistry of molecules.