테일러 스위프트도, 이탈리아 총리도 당했다? AI 발전의 그림자 ‘딥페이크’

"내 얼굴이 왜 여기에" 여성 대상 딥페이크 범죄 주의보
정치인부터 유명인까지, 딥페이크 음란물 피해 사례 폭증
낮아진 범죄 행위 문턱, 일반인도 안심할 수 없어

딥페이크(Deepfake) 음란물 피해를 입은 조르자 멜로니 이탈리아 여성 총리가 법적 대응에 나섰다. 19일(현지시간) 이탈리아 안사(ANSA)통신은 사르데냐섬 사사리 법원이 소송원고인 멜로니 총리에 대해 재판 기일인 오는 7월 2일 출석을 요청했다고 보도했다. 앞서 멜로니 총리는 본인 얼굴을 합성해 딥페이크 동영상을 제작·유포한 2명에 대해 10만 유로의 손해배상 청구 소송을 제기한 바 있다.

멜로니 총리 ‘딥페이크 가해자’ 덜미

딥페이크는 AI와 딥러닝을 활용한 인간 이미지·음성 합성 기술로, 생성형 AI의 발전과 함께 새로운 사회적 문제로 거론되고 있다. 유명인을 대상으로 딥페이크 기술을 악용하는 사례가 꾸준히 증가하고 있기 때문이다. 사이버 보안 회사 딥트레이스의 연구에 따르면, 딥페이크로 제작된 영상 중 약 96%가 포르노인 것으로 알려졌다. 논란이 된 멜로니 총리의 딥페이크 콘텐츠 역시 포르노에 멜로니 총리의 얼굴을 합성한 불법 음란 영상물인 것으로 알려졌다.

해당 콘텐츠를 제작·유포한 이들은 샤르데냐섬에 거주하는 한 부자(父子)인 것으로 확인됐다(73세·40세). 검찰에 따르면 이들은 포르노 동영상을 편집하고, 특정 소프트웨어를 사용해 여배우의 몸에 멜로니 총리의 얼굴을 합성해 미국 포르노 사이트에 공개했다. 해당 동영상은 지난 몇 달 동안 포르노 사이트 내에서 수백만 건의 조회 수를 기록했다.

안사통신은 수사관들이 포르노 사이트 내 별명을 바탕으로 해당 동영상의 출처가 된 전화번호를 추적, 콘텐츠 제작자를 찾아냈다고 전했다. 멜로니 총리는 변호인을 통해 “이런 유형의 피해를 본 모든 여성에게 고발하는 것을 두려워하지 말라는 메시지를 전달하기 위해 소송에 나섰다”며 심경을 밝혔다. 차후 승소 시 배상액은 전부 폭력 피해 여성을 위한 내무부 기금에 기부하겠다는 계획이다.

팝 가수 테일러 스위프트의 딥페이크 피해

딥페이크 음란물로 인한 피해는 비단 정치인에 국한되지 않는다. 지난 1월, X(옛 트위터) 등 SNS에서 미국의 유명 팝 가수 테일러 스위프트(Taylor Swift)의 사진을 악용한 불법 딥페이크 포르노 영상이 무차별 확산되는 사건이 벌어졌다. 한 게시물은 삭제되기 전까지 2만4,000회가량 공유되며 4,500만 회 이상의 조회수를 기록한 것으로 확인됐다. 

당시 외신은 테일러 스위프트의 딥페이크 영상은 생성형 AI로 불법 이미지를 만드는 한 텔레그램(인터넷 모바일 메신저) 채팅방에서 제작됐다고 추정했다. 주로 마이크로소프트(MS)의 생성형 AI를 활용해 딥페이크 콘텐츠를 만드는 해당 채팅방 멤버들이 딥페이크 생성을 제한하는 MS 규정을 우회, 관련 기술을 악용했다는 것이다. 피해 상황이 드러나자 테일러 스위프트의 팬들은 딥페이크 영상 검색을 방해하는 SNS 캠페인을 실시했으며, X 측은 ‘테일러 스위프트’라는 키워드를 아예 검색할 수 없도록 조치하기도 했다.

한편 지난달에는 해당 딥페이크 콘텐츠가 미국의 유해성 온라인 커뮤니티 포챈(4chan)에서 시작된 ‘챌린지’의 일환이라는 분석이 제기되기도 했다. 포챈 이용자들이 딥페이크 기술을 활용해 유명한 여성이 등장하는 음란 이미지를 만들 수 있을지 시험해보는 일종의 ‘게임’을 진행했으며, 그 과정에서 해당 콘텐츠를 제작 ·유포했다는 것이다. 당시 뉴욕타임스(NYT) 등 외신은 허위정보 추적 업체 그래피카(Graphika)가 포챈에서 ‘스위프트 딥페이크’라는 키워드를 추적, 이러한 잠정 결론을 내렸다고 보도했다. 포챈은 인종차별적이고 유해한 콘텐츠를 공유하는 것으로 악명이 높은 미국의 온라인 커뮤니티다.

범죄도 ‘손쉽게’ 저지르는 시대

가장 큰 문제는 이 같은 딥페이크 범죄가 일반인 대상으로까지 확산하고 있다는 점이다. 최근 온라인상에서는 손쉽게 딥페이크 음란물을 만들 수 있는 웹사이트가 우후죽순 등장하고 있다. 제한 없이 이용할 수 있는 무료 서비스도 적지 않다. AI 관련 기술 활용에 능통하지 않은 일반인도 손쉽게 불법 음란물을 만들 수 있는 환경이 구축된 것이다. 지난해 10월 그래피카가 발표한 자료에 따르면, 지난해 9월 한 달 동안에만 자그마치 2,400만 명이 이 같은 딥페이크 웹사이트를 방문한 것으로 확인됐다.

SNS 이용의 보편화는 일반인 대상 딥페이크 범죄의 ‘발판’ 역할을 수행하고 있다. SNS를 통해 딥페이크 콘텐츠에 합성할 사진을 손쉽게 입수·공유할 수 있기 때문이다. 실제 지난해 11월 미국 뉴저지주(州) 웨스트필드 고등학교에서는 온라인상에서 입수한 여학생들의 사진을 딥페이크 음란물 제작에 악용한 남학생 여러 명이 덜미를 잡히기도 했다.

월스트리트저널(WSJ)에 따르면, 이들은 입수한 사진을 활용해 교내 여학생들의 딥페이크 나체 사진을 만들어 유출하다가 발각됐다. 해당 사실을 인지한 피해 여학생들은 학교 당국에 이를 보고했고, 경찰 당국도 수사에 착수했다. 이후 지난달 뉴저지 주에서는 오디오나 비주얼 미디어의 기술적 조작으로 인한 속임수, 즉 딥페이크 콘텐츠의 제작 및 유포에 대한 형사 처벌을 규정하는 법안(A3540)이 발의되었다.