[해외DS] AI 신약 개발, 화학 무기 개발에 악용될 수 있다

AI신약개발기술 ‘MegaSyn’,제약 분야에 새로운 바람 불러일으켜 하지만, 명과 암 동시에 존재해 해당 기술에 대한 명확한 규제 및 가이드 라인 필요할 것

2
pabii research

[해외DS]는 해외 유수의 데이터 사이언스 전문지들에서 전하는 업계 전문가들의 의견을 담았습니다. 저희 데이터 사이언스 경영 연구소 (MDSA R&D)에서 영어 원문 공개 조건으로 콘텐츠 제휴가 진행 중입니다.

사진=alengo/Getty Images

지난 2020년 희귀병과 전염병을 위한 신약을 연구하는 기업인 콜라보레이션 파마세니컬스(Collaborations Pharmaceuticals, 이하 콜라보레이션)는 이상한 부탁을 하나 받았습니다. 롤리 N.C.(Raleigh, N.C.)라는 민간 기업 한 곳으로부터 국제회의에서 생화학 무기에 관한, 구체적으로 피트-홉킨스 증후군이나 샤가스병 같은 희귀병 치료약을 개발하는 인공지능 소프트웨어가 어떻게 악용될 수 있는지에 관한 발표를 해 달라는 것이었습니다.

이 제안을 받아들인 콜라보레이션 CEO 숀 에킨스(Sean Ekins)와 수석 과학자인 파비오 어비나(Fabio Urbina) 연구원은 AI 기반 약물 개발 소프트웨어 메가신(MegaSyn)으로 악명 높은 유독성 신경 작용제 VX와 비슷한 독성 분자를 만들어내는 방법을 찾고자 했습니다.

결과는 어땠을까요? 놀랍게도 프로그램은 단 하룻밤 만에 VX는 물론이고 일반적으로 알려진 화학 무기와 새로운 종류의 독성 물질을 포함한 40,000개의 물질을 만들어냈습니다. 연구진에게 필요했던 건 약간의 프로그래밍, 오픈 소스 데이터, 2015년형 맥 컴퓨터, 6시간 정도의 계산 시간뿐이었죠. 어비나 연구원은 “소프트웨어의 출력값은 우리 회사의 상업적 신약 개발 공정과 거의 비슷했다”며 신약 개발 AI의 성능에 놀라움을 금치 못했습니다.

콜라보레이션은 이 연구 결과를 국가 안보에 위협이 될 수 있는 생물학 및 화학 연구의 최신 동향 평가를 목적으로 스위스에서 2년마다 열리는 국제회의 슈피츠 컨버전스(Spiez CONVERGENCE)에서 발표했습니다. 또한 네이처 머신 인텔리전스(Nature Machine Intelligence) 저널에 동료 평가 논평을 게재하고 백악관 과학 기술 정책실을 상대로 연구 결과를 브리핑하기도 했습니다. 킹스칼리지런던(King’s College London) 산하 과학 및 보안 연구 센터의 공동 책임자이자 논문의 공동 저자인 필리파 렌초스(Filippa Lentzos)는 “우리는 이번 연구가 AI 기반 신약 개발 정책의 발전을 위한 유용한 발판이 될 것으로 기대한다”라고 전했습니다.

한편 연구진은 이전에도 메가신으로 신약 개발 시도를 한 적이 있는데, 어비나 연구원에 따르면 당시에는 분자의 정확한 구조를 입력하지 않고 VX와 유사한 물질을 생성하라는 명령을 내렸다고 합니다. 그 결과 ‘아세틸콜린에스테라제 억제제(acetylcholinesterase inhibitors)’라는, VX와 같은 분자 표적을 가지며 알츠하이머병 등 신경퇴행성 질환의 치료에 도움이 되는 약물이 만들어졌죠.

메가신을 비롯한 포함한 많은 신약 개발 AI는 인공 신경망을 사용합니다. 메릴랜드 대학교 약학대학 컴퓨터 지원 약물 설계 센터의 책임자인 알렉스 맥크럴(Alex MacKerell)은 “신경망은 ‘생물학적 활동’이라는 특별한 목적지로 향하는 길을 알려준다.”라는 비유를 들어 “AI 시스템은 특정 단백질을 얼마나 잘 억제하거나 활성화하는지와 같은 특정 기준에 따라 분자를 ‘점수화’한다.”라고 설명했습니다. 즉 연구자는 이 점수를 보고 점수가 높은 물질은 원하는 효과를 낼 가능성이 크다는 추측을 할 수 있다는 뜻입니다.

이번 연구에서도 메가신이 생성한 많은 새로운 분자를 이 ‘점수화’ 방법으로 테스트했는데, 놀랍게도 대부분이 VX를 능가하는 독성을 갖는 것으로 예측되었습니다. 이 사실을 확인한 어비나 연구원과 에킨스 CEO는 AI 신약 개발 기술이 가져올 수 있는 윤리적 문제를 고려해 연구를 중단하겠다고 결정했습니다.

생명윤리학자이자 미국 조지아주 에머리 대학교의 윤리 센터 소장 폴 루트 볼페이(Paul Root Wolpe)는 “어비나와 에킨스의 윤리적 직관이 틀리지 않았다고 생각한다”라며 “더는 연구를 진행하지 않는 것이 옳은 판단이다”라고 덧붙였습니다.

그러나 일각에서는 AI 소프트웨어를 사용하여 독성 물질을 찾는 것 자체가 실제 생물학적 무기 개발로 곧바로 이어지는 것은 아니라는 지적도 나왔습니다.

조지 메이슨 대학교 내에 있는 공립 정책 학교 Schar School of Policy and Government에서 바이오디펜스 프로그램 부교수를 맡고 있는 소니아 벤 오그함-곰리(Sonia Ben Ouagrham-Gormley)는 “과거의 생화학 무기 연구에서처럼 이론적으로는 가능해 보이는 것이 실제로는 가능하지 않을 수 있다”라며 “AI 신약 개발 기술에 대한 규제는 시기상조”라는 의견을 밝혔습니다.

한편 존스홉킨스 대학교 산하 시드니 키멜 종합 암 센터의 부국장 엘라나 페르티그(Elana Fertig)는 “AI는 잠재적으로 위험한 물질을 대량으로 신속하게 생성할 수 있기에 치명적인 생물 무기의 개발 속도를 높일 수 있다”라며 AI 기반 신약 개발 공정에 대한 우려를 표했습니다.

일부 전문가들은 악용을 막기 위해 사용자의 자격 증명을 확인하는 사전 선별 프로세스로 대기자 명단 작성을 의무화해야 한다고 조언합니다.

애플리케이션 프로그래밍 인터페이스(API)를 통해 약물 발견 AI를 대중에게 투명하게 공개하라고 제안한 이들도 있는데, 이 경우 사용자는 API에게 “특별히” 분자 데이터를 요청해야 합니다. 에킨스 CEO 역시 “잠재적인 문제를 최소화하기 위해 사용자가 특정 방식으로 특정한 도구나 모델을 적용하도록 요구하는 분자만 생성하도록 API를 구성할 필요가 있다.”라고 말하며 “사용자가 한 번에 생성할 수 있는 분자의 수를 제한해야 한다.”라고도 덧붙였습니다. 하지만 벤 오그함-곰리 부교수는 “기술이 생물 무기 개발을 쉽게 촉진할 수 있다는 것이 명확하지 않으면 그러한 규제는 시기상조일 수 있다.”라며 이러한 규제에 대한 반감을 드러냈습니다.

어비나 연구원과 에킨스 CEO는 자신들의 연구가 AI 기반 신약 개발 기술의 오용 문제에 주목한 첫 번째 시도라고 평가했습니다. 에킨스 CEO는 “AI 기반 신약 개발은 실제로 큰 가치가 있을 것으로 보인다”라고 평가했지만 “(AI 기반 신약 개발 기술에는) 어두운 면이 공존하기 때문에 기술을 사용할 때 경각심을 잊어서는 안 될 것”이라고 덧붙였습니다.


In 2020 Collaborations Pharmaceuticals, a company that specializes in looking for new drug candidates for rare and communicable diseases, received an unusual request. The private Raleigh, N.C., firm was asked to make a presentation at an international conference on chemical and biological weapons. The talk dealt with how artificial intelligence software, typically used to develop drugs for treating, say, Pitt-Hopkins syndrome or Chagas disease, might be sidetracked for more nefarious purposes.

In responding to the invitation, Sean Ekins, Collaborations’ chief executive, began to brainstorm with Fabio Urbina, a senior scientist at the company. It did not take long for them to come up with an idea: What if, instead of using animal toxicology data to avoid dangerous side effects for a drug, Collaborations put its AI-based MegaSyn software to work generating a compendium of toxic molecules that were similar to VX, a notorious nerve agent?

The team ran MegaSyn overnight and came up with 40,000 substances, including not only VX but other known chemical weapons, as well as many completely new potentially toxic substances. All it took was a bit of programming, open-source data, a 2015 Mac computer and less than six hours of machine time. “It just felt a little surreal,” Urbina says, remarking on how the software’s output was similar to the company’s commercial drug-development process. “It wasn’t any different from something we had done before—use these generative models to generate hopeful new drugs.”

Collaborations presented the work at Spiez CONVERGENCE, a conference in Switzerland that is held every two years to assess new trends in biological and chemical research that might pose threats to national security. Urbina, Ekins and their colleagues even published a peer-reviewed commentary on the company’s research in the journal Nature Machine Intelligence—and went on to give a briefing on the findings to the White House Office of Science and Technology Policy. “Our sense is that [the research] could form a useful springboard for policy development in this area,” says Filippa Lentzos, co-director of the Center for Science and Security Studies at King’s College London and a co-author of the paper.

The eerie resemblance to the company’s day-to-day routine work was startling. The researchers had previously used MegaSyn to generate molecules with therapeutic potential that have the same molecular target as VX, Urbina says. These drugs, called acetylcholinesterase inhibitors, can help treat neurodegenerative conditions such as Alzheimer’s. For their study, the researchers had merely asked the software to generate substances similar to VX without inputting the exact structure of the molecule.

Many drug discovery AIs, including MegaSyn, use artificial neural networks. “Basically, the neural net is telling us which roads to take to lead to a specific destination, which is the biological activity,” says Alex MacKerell, director of the Computer-Aided Drug Design Center at the University of Maryland School of Pharmacy, who was not involved in the research. The AI systems “score” a molecule based on certain criteria, such as how well it either inhibits or activates a specific protein. A higher score tells researchers that the substance might be more likely to have the desired effect.

In its study, the company’s scoring method revealed that many of the novel molecules MegaSyn generated were predicted to be more toxic than VX, a realization that made both Urbina and Ekins uncomfortable. They wondered if they had already crossed an ethical boundary by even running the program and decided not to do anything further to computationally narrow down the results, much less test the substances in any way.

“I think their ethical intuition was exactly right,” says Paul Root Wolpe, a bioethicist and director of the Center for Ethics at Emory University, who was not involved in the research. Wolpe frequently writes and thinks about issues related to emerging technologies such as artificial intelligence. Once the authors felt they could demonstrate that this was a potential threat, he says, “their obligation was not to push it any further.”

But some experts say that the research did not suffice to answer important questions about whether using AI software to find toxins could practically lead to the development of an actual biological weapon.

“The development of actual weapons in past weapons programs have shown, time and again, that what seems possible theoretically may not be possible in practice,” comments Sonia Ben Ouagrham-Gormley, an associate professor at the Schar School of Policy and Government’s biodefense program at George Mason University, who was not involved with the research.

Despite that challenge, the ease with which an AI can rapidly generate a vast quantity of potentially hazardous substances could still speed up the process of creating lethal bioweapons, says Elana Fertig, associate director of quantitative sciences at the Sidney Kimmel Comprehensive Cancer Center at Johns Hopkins University, who was also not involved in the research.

To make it harder for people to misuse these technologies, the authors of the paper propose several ways to monitor and control who can use these technologies and how they are used, including wait lists that would require users to undergo a prescreening process to verify their credentials before they could access models, data or code that could be readily misused.

They also suggest presenting drug discovery AIs to the public through an application programming interface (API), which is an intermediary that lets two pieces of software talk to each other. A user would have to specifically request molecule data from the API. In an e-mail to Scientific American, Ekins wrote that an API could be structured to only generate molecules that would minimize potential toxicity and “demand the users [apply] the tools/models in a specific way.” The users who would have access to the API could also be limited, and a limit could be set to the number of molecules a user could generate at once. Still, Ben Ouagrham-Gormley contends that without showing that the technology could readily foster bioweapon development, such regulation could be premature.

For their part, Urbina and Ekins view their work as a first step in drawing attention to the issue of misuse of this technology. “We don’t want to portray these things as being bad because they actually do have a lot of value,” Ekins says. “But there is that dark side to it. There is that note of caution, and I think it is important to consider that.”

Similar Posts