[해외DS] 젤렌스키 대통령 항복 영상, 딥 페이크 악용 가능성 증명해

우크라이나 대통령의 딥페이크 ‘항복’ 영상, 딥페이크로 제작돼 딥페이크 기술, ‘수익 창출’과 ‘정치적 보복’ 양날의 검 존재해 딥페이크 공격에는 신속한 대처가 필수적

2
pabii research

[해외DS]는 해외 유수의 데이터 사이언스 전문지들에서 전하는 업계 전문가들의 의견을 담았습니다. 저희 데이터 사이언스 경영 연구소(MDSA R&D)에서 영어 원문 공개 조건으로 콘텐츠 제휴가 진행 중입니다.

사진=AI 비즈니스

볼로디미르 젤렌스키(Volodymyr Zelensky) 우크라이나 대통령이 항복을 선언하는 영상이 지난달 중순 이후 우크라이나 관련 웹사이트에 등장하고 있습니다.

같은 시각 트위터에는 블라디미르 푸틴(Vladimir Putin) 러시아 대통령이 군인들에게 무기를 내려놓고 집으로 돌아가라고 말하는 영상이 올라왔습니다.

뭔가 이상하지 않나요? 사실 두 영상 모두 딥 페이크(deep fake)로 밝혀졌습니다. 안 그래도 혼란스러운 상황을 악화시키려는 의도로 만들어진 영상이었죠.

이게 전부가 아닙니다. 현재 해커들은 지난 몇 년 동안 딥 페이크를 악용해 개인의 인권침해를 넘어 국가와 사회의 혼란까지도 만들어내고 있습니다.

딥 페이크란?

딥 페이크는 ‘딥 러닝(deep learning)’과 ‘페이크(fake)’를 합성한 용어로, 인공지능에 기반해 목소리와 얼굴 생김새를 실제처럼 조작한 영상 등을 통칭합니다. 알고리즘은 얼굴이나 목소리 일부를 대체하거나 완전히 새롭게 창조하고, 감정을 모방하도록 훈련됩니다. 특히 젤렌스키 대통령처럼 공신력 있는 얼굴이나 외모를 가진 사람의 영상이 조작되면 대중은 큰 혼란에 빠집니다.

몇 가지 유명한 사례로는 미국 드라마 ‘만달로리안(The Mandalorian)’ 시즌 2에 젊었을 때의 모습으로 출연한 스타워즈 주인공 루크 스카이워커(Luke Skywalker), 톰 크루즈(Tom Cruise)가 나오는 광고 영상 여러 개가 있습니다.

[embedyt] https://www.youtube.com/watch?v=wrHXA2cSpNU[/embedyt]

딥 페이크 기술에는 수익 창출의 여지와 악용 여지가 모두 존재합니다. 양날의 검과 같죠. 딥 페이크 기술을 이용하면 카메오(Cameo; 미국의 영상 공유 사이트)의 생일 축하 영상을 유쾌하게 편집할 수 있습니다. 유튜브 채널 굿 미시컬 모닝(Good Mythical Morning) 등은 베리톤(Veritone)의 VaaS(Voice-as-a-Service) 서비스를 활용하여 합성 음성을 만들고 수익을 창출하고 있죠.

반면 어떤 해커들은 딥 페이크의 일종인 “딥 보이스 기술”로 음성을 위조, UAE에 기반을 둔 은행에서 3,500만 달러를 가로채기도 했습니다.

딥 페이크는 여러 가지 방법으로 만들 수 있습니다. 우선 리페이스(Reface) 또는 자오(Zao) 같은 무료 모바일 앱이 있는데, 이를 이용하면 누군가의 얼굴을 유명인의 얼굴로 손쉽게 바꿀 수 있습니다. 오픈 소스로 깃헙(GitHub)에 풀린 딥페이크랩(DeepFaceLab)도 있고, 우버덕.ai(Uberduck.ai)라는 무료 합성 음성 도구도 있습니다. 참고로 우버덕.ai는 AI 비즈니스가 작년 여름에 올린 팟캐스트에서 잉글랜드 출신 유명 배우 패트릭 스튜어트(Patrick Stewart) 경의 목소리를 재현하는 데 이용되기도 했죠. 엔비디아(Nvidia)의 타코트론2(Tacotron2), 모질라(Mozilla)의 TTS처럼 벤더사가 직접 이러한 도구를 제공하기도 하죠.

처음도 아니고, 마지막도 아니다

이번에 풀린 영상이 어떻게 만들어졌는지는 아직 불분명합니다. 그렇지만 딥페이크랩 개발자들은 딥 페이크 영상의 95% 이상이 딥페이크랩으로 만들어진다고 주장했습니다.

다시 본론으로 돌아와서, 젤렌스키 대통령의 딥 페이크 영상은 이 기술의 어두운 면을 보여주는 단적인 예입니다. 다행히도 젤렌스키 대통령은 이 영상이 공개된 즉시 반박성 메시지를 냈고, 소셜 미디어 플랫폼 역시 영상을 삭제하면서 실제 전쟁에 영향이 가는 일은 없었습니다. 해당 사례와 관련하여 페이스북의 모회사 메타(Meta)의 보안 책임자인 나다니엘 글라이처(Nathaniel Gleicher)에 따르면 이 영상은 소셜 플랫폼에 퍼지기 전 ‘손상이 보고된 웹 사이트’에 처음으로 올라왔습니다. 미국의 싱크탱크 아틀란틱 협의회(Atlantic Council) 역시 지난 3월 16일 다수의 우크라이나 웹사이트가 해킹당했으며 해커들이 해당 사이트에 동영상을 게시했다고 밝혔습니다.

쿠데타로 축출된 미얀마 정치인 아웅산 수치(Aung San Suu Kyi) 전 대통령 대변인이 미얀마의 전 주지사에게서 뇌물성 금을 받았다는 누명을 쓴 일도 정치적으로 악용된 딥 페이크의 사례에 해당합니다. 당시 쿠데타로 권력을 잡은 군사 정권은 금 전달을 시인하는 전 주지사의 딥 페이크 영상을 증거로 수치 전 대변인을 부패 혐의로 고발했습니다.

딥 페이크, 어떻게 막을까?

이 사례를 보면 젤렌스키 대통령은 상대적으로 운이 좋았던 것 같습니다. 하지만 기술이 계속해서 발전한다면 이런 운이 통하지 않는 시대가 올지도 모릅니다. 영상과 기술을 활용한 인권 신장 운동을 이끄는 비영리 단체 위트니스(Witness.org)의 임원 샘 그레고리(Sam Gregory)는 “딥 페이크라고 믿고 싶어 하는 사람들의 욕구 때문에 현실에서 딥 페이크를 판별하는 것은 어렵다.”라고 전했습니다. 이와 같이 딥 페이크 기술이 악용될 수 있는 가능성이 농후하다는 경고의 목소리는 계속해서 나오고 있습니다.

이번에는 젤렌스키 대통령이 허위 정보의 확산을 막기 위해 SNS에서 해당 영상을 직접 지적하고, 페이스북이나 유튜브도 자사 정책의 일환으로 신속하게 영상을 삭제했기 때문에 후속적인 피해를 예방할 수 있었습니다. 앞으로도 딥 페이크 기술로 인한 피해를 막기 위해서는 신속한 대처가 필수적일 것입니다.


In the middle of March, just weeks after Russian troops invaded his country, Ukrainian President Volodymyr Zelensky gave the order to surrender.

About the same time, a video of Russian President Vladimir Putin also surfaced on Twitter, purportedly telling his soldiers to drop their weapons and go home.

Or that’s what the videos circulating online suggest. In fact, both videos were deepfakes designed to sow further chaos in an already confusing situation.

Manipulated media like this is nothing new – scammers have been using deepfakes for a few years now, and the tech behind it is creating increasingly more convincing content, with potentially devastating repercussions.

What is a deepfake?

A deepfake uses deep learning to generate synthetic media. A system will be trained to replace or generate faces, speech and emulate emotions. Commonly, these appear as videos of people with convincing faces or appearances to confuse the viewer.

Some famous examples include the young Luke Skywalker depicted in Season 2 of The Mandalorian or several viral videos of a convincing Tom Cruise.

Family and friends hoping for a birthday video message on Cameo can benefit from the technology too, as the likes of Hour One developing an AI-powered version of The Boss Baby to provide personalized greetings.

And brands such as the YouTube channel Good Mythical Morning are using a Voice-as-a-Service (VaaS) product from Veritone to create and monetize synthetic voices.

To be sure, deepfakes can be used nefariously as well. One example saw scammers use “deep voice technology” to simulate voices to illicitly obtain $35 million from a UAE-based bank.

There are several methods of creating deepfakes. There are app-based examples such as Reface or Zao, which mobile users can simply download for free and replace faces with famous examples.

There’s also DeepFaceLab, an open source software offering posted on GitHub. Another tool is Uberduck.ai, a free-to-use synthetic voice tool, which the AI Business team used to recreate the voice of Sir Patrick Stewart to appear on a podcast episode last summer.

There are also more technical tools from vendors such as Nvidia (tacotron2) and Mozilla (TTS).

The inception of the Zelensky deepfake is unknown. However, the developers behind DeepFaceLab claim that more than 95% of deepfake videos are created using their tool.

Not the first … nor the last

The Zelensky video shows an even darker side to this technology, though despite its intent, it was quickly brushed aside as fake news. The Ukrainian president published his own rebuttal on Twitter, vowing to continue the fight.

The same day he posted his response, several social media platforms removed the deepfake for violating their policies on misinformation.

Nathaniel Gleicher, Meta’s head of security, suggested the video first appeared on a “reportedly compromised website” before spreading on social platforms.

According to the Atlantic Council think tank, several Ukrainian websites were hacked, with bad actors posting the video to those sites. The metadata for the deepfake posted to Telegram shows it was created on March 16.

Other politically motivated deepfakes include one of a former Myanmar government minister saying he funnelled gold to ousted leader Aung San Suu Kyi, with the country’s ruling military junta using the footage to accuse her of corruption.

How to stop deepfakes? Be prepared

While the Zelensky video didn’t fool anyone, there may come a time soon when the technology becomes so advanced that it just might. Ukraine’s military intelligence agency said days after the initial deepfake that more may likely follow – and sow chaos.

Ukraine was ready for such an event, with its president quickly deploying a well-planned strategy to stop the spread of falsities.

Such preparedness and swift responses were the leading suggestions to tackle illicit synthetic media, according to guidelines shared by the Carnegie Endowment for International Peace ahead of the 2020 U.S. elections.

Similar Posts