[해외DS] 인텔 연구소: 딥페이크 영상을 찾아내려면 인간이 되어야 한다

인텔 연구소, PPG 활용된 실시간 딥페이크 감지 시스템 FakeCatcher 출시 PPG, 인간만이 갖고 있는 정맥 색상 변화 감지하는 기술 인텔, 소셜 미디어 플랫폼 및 글로벌 뉴스 조직 등 관심 보였다고 밝혀

pabii research

[해외DS]는 해외 유수의 데이터 사이언스 전문지들에서 전하는 업계 전문가들의 의견을 담았습니다. 저희 데이터 사이언스 경영 연구소 (MDSA R&D)에서 영어 원문 공개 조건으로 콘텐츠 제휴가 진행 중입니다.

사진=AI Business

인텔 연구소(Intel Labs)가 실시간으로 작동하고 새로운 접근 방식이 적용된 딥페이크(deepfake) 감지 시스템을 출시합니다.

딥페이크는 딥 러닝을 사용해 다른 사람과 유사하게 보이도록 변형한, 사람의 사진이나 영상 혹은 음성을 뜻합니다. 일반적으로 잘못된 정치적 정보, 명의 도용 같은 악의적인 목적으로 배포되는데, 우크라이나 Volodymyr Zelensky 대통령이 러시아에 항복하는 것처럼 보이는 영상 등이 유명한 딥페이크입니다.

딥페이크는 점점 더 정교해지고, 구분하기 어려워지고 있습니다. 하지만 인텔은 이번에 개발한 감지 시스템이 적어도 동영상에 있어서는 더 나은 성능을 낸다고 밝혔습니다. 실시간으로, 밀리초 단위로 말입니다. 인텔에 따르면 다른 탐지 시스템으로 딥페이크를 분석하려면 몇 시간이 걸립니다.

인텔이 개발한 시스템의 이름은 FakeCatcher입니다. FakeCatcher는 인간의 정맥에서 숨길 수 없는 ‘생명의 징후’를 찾아냅니다. 심장이 혈액을 펌핑할 때 정맥의 음영에는 미묘한 변화가 생기는데, 바로 이 색상 변화를 잡아내는 것입니다.

인텔 연구소의 시니어 연구원 Ilke Demir는 “무엇이 우리를 인간으로 만드나요? 대답은 바로 우리 혈액 안에 있습니다.”라고 말했습니다.

이렇게 정맥의 색상 변화를 측정하는 방식을 광혈류측정(photoplethysmography), 즉 PPG라고 합니다. 시스템은 이 PPG 결과를 매핑하는데, PPG 결과로 훈련받은 딥 러닝 모델이 적용됐기에 딥페이크를 탐지할 수 있습니다. 또한 FakeCatcher에는 시선 기반 감지 기능도 있습니다.

인텔은 FakeCatcher의 정확도가 96%에 이르고, 3세대 Xeon Scalable 칩을 이용해 동시 스트림 72개를 스트리밍할 수 있다고 밝혔습니다. 한편 FakeCatcher는 Responsible AI의 후원을 받고 있습니다.

[embedyt] https://www.youtube.com/watch?v=WYjJM49559I[/embedyt]

FakeCatcher에는 인텔의 하드웨어와 소프트웨어가 이용됐는데, 소프트웨어의 경우 웹 기반 플랫폼에 인터페이스로 접속하는 서버에서 실행됩니다. 인텔 팀은 또한 OpenVino로 얼굴 감지를 위한 AI 모델을 실행하고 최적화된 컴퓨터 비전 블록을 배포했으며 OpenCV를 사용해 이미지와 영상을 실시간으로 처리했습니다. 아울러 FakeCatcher는 Open Visual Cloud 프로젝트의 통합 소프트웨어 스택을 기반으로 개발됐습니다.

인텔의 목표는 악의적인 딥페이크입니다. 한편 Demir는 ‘책임 있는’ 딥페이크도 있다고 인정했는데, 디지털 영역에서 얼굴 인식을 피해 신원을 숨기고자 딥페이크를 이용하는 경우가 그 예시입니다.

무엇이 딥페이크일까요?/사진=AI Business

인텔은 AI Business에 소셜 미디어 플랫폼, 글로벌 뉴스 조직, 비영리 단체 등 FakeCatcher의 ‘잠재적인 이용자’들이 관심을 보였다고 전했습니다.

인텔은 “소셜 미디어 플랫폼은 이 기술로 사용자가 유해한 딥페이크 영상을 올리는 것을 막을 수 있습니다. 글로벌 뉴스 조직은 실수로 조작된 비디오를 퍼뜨리는 일을 예방하고, 비영리 조직은 자신의 플랫폼을 통해 모든 사람이 딥페이크를 탐지할 수 있는, ‘딥페이크의 민주화’를 달성할 수 있습니다.”라고 덧붙였습니다.

한편 칩 제조사는 클라이언트의 워크플로에 FakeCatcher를 배포할 예정입니다. 클라이언트는 이를 소비자에게 선택적으로 공유할 수 있습니다. FakeCatcher는 앞서 언급했듯이 Open Visual Cloud에 기반했기에 플랫폼에 구애받지 않습니. 인텔은 기꺼이 지원을 제공하겠다고 밝혔습니다.


Intel Labs is launching a deepfake detection system that works in real time and uses a novel approach: By spotting what makes living beings unique.

Deepfakes are images, videos or speech of a person that is altered to resemble someone else using deep learning. Deepfakes are usually deployed for malicious purposes, such as political misinformation or impersonation. Famous deepfakes include one of Ukrainian President Volodymyr Zelensky supposedly surrendering to Russia.

Deepfakes are getting more sophisticated and harder to spot. But Intel believes it has found a better way to do so, at least for videos – in real time and in milliseconds. Other detection systems take hours to analyze deepfakes, Intel said.
Called FakeCatcher, Intel’s system looks for color changes in a person’s veins as a tell-tale sign of life. As the heart pumps blood, the veins exhibit subtle changes in shading as a tell-tale sign of real life.

“What makes us human? The answer is in our blood,” said Ilke Demir, senior staff research scientist at Intel Labs.

This vein color change, called photoplethysmography (PPG), is mapped. A deep learning model trained on PPG is applied to spot deepfakes. FakeCatcher also uses eye gaze-based detection.

Intel said the system, which falls under its Responsible AI auspices, has a 96% accuracy rate and can stream 72 concurrent steams on its third-gen Xeon Scalable chip.
FakeCatcher uses Intel’s hardware and software run on a server that interfaces with a web-based platform. Intel teams also used OpenVino to run AI models for face detection, deployed optimized computer vision blocks and tapped OpenCV to process images and videos in real time. The Open Visual Cloud project provided an integrated software stack.

While Intel’s work is aimed at malicious deepfakes, Demir acknowledged that there are “responsible” deepfakes – when the technology is used in digital realms to mask identities to evade facial recognition.

Intel told AI Business that it has received interest from potential users of FakeCatcher such as social media platforms, global news organizations and nonprofits.

“Social media platforms could leverage the technology to prevent users from uploading harmful deepfake videos. Global news organizations could use the detector to avoid inadvertently amplifying manipulated videos. And nonprofit organizations could employ the platform to democratize detection of deepfakes for everyone,” the company said.

The chipmaker also will be deploying FakeCatcher in the workflows of clients, which may choose to share it with consumers. FakeCatcher is based on the platform-agnostic Open Visual Cloud. Intel said it is open to providing support.

Similar Posts