[해외 DS] 생성 AI가 만들어내는 사진, 이제는 실제 사진과 구별 어렵다

생성 AI가 만든 사진, 실제 사진과 구별하지 못할 정도로 인공지능 발전해 GAI 악용 가능성 사회적으로 큰 문제로 대두돼 해결책 모색해야 전문가들, 소셜 미디어 플랫폼이 앞장서서 AI위조 탐지 알고리즘 서비스 상용할 것 조언

pabii research

[해외DS]는 해외 유수의 데이터 사이언스 전문지들에서 전하는 업계 전문가들의 의견을 담았습니다. 저희 데이터 사이언스 경영 연구소 (MDSA R&D)에서 영어 원문 공개 조건으로 콘텐츠 제휴가 진행 중입니다.

AI가 생성한 이미지/사진=Konstantin Vakurov/Alamy Stock Photo

최근 도널드 트럼프 전 미국 대통령이 지난 주에 체포된 사진과 교황이 흰색 퍼 코트를 입고 있는 ‘가짜 사진’이 온라인을 통해 널리 퍼져나가 논란이 된 바 있습니다.

그런데 최근 이러한 가짜 사진은 사람이 위조한게 아닌, 사용자의 텍스트 프롬프트를 처리하는 생성 AI (GAI)가 만들어낸 것입니다. 이 사진들을 온라인에서 접하고 실제 도널드 트럼프가 체포된 줄로 받아들인 사람들도 다수인 것으로 전해졌습니다. 이제 인공지능은 사람들이 실제로 믿을 만 한 사진을 생성할 만큼 그 기술이 발전한 것입니다.

전문가들은 실제 사진과 AI가 만들어낸 이미지를 구별하기가 점점 더 어려워지고 있다고 말하고 있습니다. 과거 GAI의 경우 예컨대 고질적으로 인간의 손을 모방하는데 어려움을 겪어 가짜 이미지를 판별하는데 큰 어려움이 없었습니다. 그러나 기술이 향상됨에 따라 Midjourney V5와 같은 GAI가 이와 같은 굵직한 문제들을 해결하고 있는 것으로 보입니다.

미디어 기술의 심리적 영향을 연구하는 Pennsylvania State University의 S. Shyam Sundar 연구원은 “GAI가 만들어낼 수 있는 이미지의 범위가 놀라울 정도로 늘어났다” 라며, “작년부터 이미지 생성 측면에서 GAI의 엄청난 도약이 있었다”고 전했습니다.

GAI의 이미지 생성 기술이 발전할 수 있었던 이유에 대해 sundar는 GAI를 학습시킬 수 있는 이미지 데이터의 양이 계속 증가하고 있는 점과 데이터 전처리 기술의 발전하고 있는 점, 그리고 일반 인터넷 사용자가 기술에 쉽게 접근할 수 있게 된 점을 꼽고 있습니다. 아울러 sundar는 “인공지능이 생성한 이미지는 현재 어디에나 있고 판별하기가 거의 불가능한 수준까지 왔다”고 덧붙였습니다.

최근의 한 연구는 AI가 얼마나 감쪽같이 현실과 비슷하게 이미지를 만들어내고 있는지 보여주고 있습니다. 디지털 기술에 중점을 둔 영국 Lanchaster University의 심리학자 Sophie Nightingale은 온라인 실험참여자들이 StyleGAN2이 생성한 가짜 여권 사진과 실제 이미지를 구별할 수 있는지 테스트하는 연구를 진행한 바 있습니다. 해당 연구 결과 거의 대부분의 실험참여자들은 합성 얼굴과 실제 얼굴의 차이를 확실하게 구분하지 못했습니다. 이에 대해 Nightingale은 “연구원들이 의도적으로 StyleGAN2에서 생성된 이미지 중 가장 현실적인 이미지만 선택하기는 했으나, GAI의 성능은 가히 압도적이었다”라고 말했습니다. 아울러 그는 “AI 시스템이 인터넷에 허위 정보를 범람시키는 등 사회와 인류에 심각한 위험을 초래할 수도 있다”며 GAI의 악용 가능성에 대해 우려를 표했습니다. 

한편 두 번째 테스트에서 연구원들은 실험참가자들이 이미지에 대해 한 답에 채점을 하고, 인위적으로 생성된 이미지에 대해 특징을 알려주는 등 참가자들이 테스트에 대한 준비를 할 수 있도록 도왔습니다. 인위적인 이미지에 대한 특징으로는 일치하지 않는 귀걸이가 있거나, 사람의 치아가 흐려진다거나, 정교한 배경을 생성하는데 어려움이 있는 등이었습니다. 그러나, 이러한 처치에도 불구하고 참가자의 정확도는 그다지 크게 증가하지 않았습니다.

이에 대해 전문가들은 인간이 AI가 생성한 위조 사진을 구별하는 최고의 방법은 역설적이게도 인공지능이 생성한 이미지를 감지하도록 훈련된 인공지능을 만들어내는 것이라고 말합니다. 아울러 이들은 ‘인공지능 알고리즘이 이미지의 픽셀 크기까지 분석하여 가짜 사진을 탐지하는데 탁월한 성능을 보일 것’이라고 덧붙였습니다.

Wisconsin–Madison 대학교 컴퓨터 과학과 이용재 교수는 “AI가 생성한 위조 사진 탐지 알고리즘을 만드는 것은 다른 머신 러닝 알고리즘을 만드는 방식과 동일하게 이루어진다”며, “실제 이미지와 AI가 생성한 이미지를 모두 수집하여 모델을 학습시켜 둘을 구별할 수 있다”고 전했습니다.

그러나 일각에서는 이러한 위조 사진 탐지 알고리즘에는 몇 가지 심각한 결점이 있다고 지적합니다. 즉, 대부분의 탐지 알고리즘은 특정 이미지 생성 알고리즘을 기반으로 학습하기 때문에 다른 알고리즘에 의해 생성된 이미지를 판별할 때, 탐지 성능이 매우 떨어지게 된다는 것입니다. 또한 대부분의 탐지 알고리즘은 유저 친화적 인터페이스가 결여되어 있기 때문에 유저 접근성 측면에서 일반 유저들이 사용하기에는 어렵다는 것입니다.

University of Southern California의 컴퓨터 과학 연구 부교수인 Wael AbdAlmageed는 “위조 탐지 알고리즘이 이미지 생성 알고리즘을 따라 잡기 위해 학습되는 동시에 이미지 생성 알고리즘도 이에 맞춰서 위조 이미지로 탐지되지 않도록 학습될 것”이라며, “이미지 생성 알고리즘과 탐지 알고리즘 사이의 끝없는 군비 경쟁이 시작될 것”이라고 경고했습니다.

또한 AbdAlmageed는 “어떤 접근 방식도 완벽하게 위조 이미지를 포착해낼 수는 없을 것이지만, 더 치명적인 미래의 위험을 방지하기 위해서는 최대한의 노력을 해야한다”고 전했습니다. 이에 그는 “소셜 미디어 플랫폼이 개인 유저보다 감지 알고리즘을 구현하는데 더 적합하기 때문에, AI로 생성된 컨텐츠에 대한 검열을 강화해야한다”고 제언했습니다.

아울러 사용자는 더욱 비판적으로 시각적 정보를 평가할 필요가 있습니다. 이에 AbdAlmageed는 “인간으로서 우리는 보는 것을 전적으로 신뢰하면서 살아왔지만, 이제는 더 이상 보는 것을 믿어서는 안된다”고 전했습니다.


You may have seen photographs that suggest otherwise, but former president Donald Trump wasn’t arrested last week, and the pope didn’t wear a stylish, brilliant white puffer coat. These recent viral hits were the fruits of artificial intelligence systems that process a user’s textual prompt to create images. They demonstrate how these programs have become very good very quickly—and are now convincing enough to fool an unwitting observer.

So how can skeptical viewers spot images that may have been generated by an artificial intelligence system such as DALL-E, Midjourney or Stable Diffusion? Each AI image generator—and each image from any given generator—varies in how convincing it may be and in what telltale signs might give its algorithm away. For instance, AI systems have historically struggled to mimic human hands and have produced mangled appendages with too many digits. As the technology improves, however, systems such as Midjourney V5 seem to have cracked the problem—at least in some examples. Across the board, experts say that the best images from the best generators are difficult, if not impossible, to distinguish from real images.

“It’s pretty amazing, in terms of what AI image generators are able to do,” says S. Shyam Sundar, a researcher at Pennsylvania State University who studies the psychological impacts of media technologies. “There’s been a giant leap in the last year or so in terms of image-generation abilities.”

Some of the factors behind this leap in ability include the ever-increasing number of images available to train such AI systems, as well as advances in data processing infrastructure and interfaces that make the technology accessible to regular Internet users, Sundar notes. The result is that artificially generated images are everywhere and can be “next to impossible to detect,” he says.

One recent experiment highlighted how well AI is able to deceive. Sophie Nightingale, a psychologist at Lancaster University in England who focuses on digital technology, co-authored a study that tested whether online volunteers could distinguish between passportlike headshots created by an AI system called StyleGAN2 and real images. The results were disheartening, even back in late 2021, when the researchers ran the experiment. “On average, people were pretty much at chance performance,” Nightingale says. “Basically, we’re at the point where it’s so realistic that people can’t reliably perceive the difference between those synthetic faces and actual, real faces—faces of actual people who really exist.” Although humans provided some help to the AI (researchers sorted through the images generated by StyleGAN2 to select only the most realistic ones), Nightingale says that someone looking to use such a program for nefarious purposes would likely do the same.

In a second test, the researchers tried to help the test subjects improve their AI-detecting abilities. They marked each answer right or wrong after participants answered, and they also prepared participants in advance by having them read through advice for detecting artificially generated images. That advice highlighted areas where AI algorithms often stumble and create mismatched earrings, for example, or blur a person’s teeth together. Nightingale also notes that algorithms often struggle to create anything more sophisticated than a plain background. But even with these additions, participants’ accuracy only increased by about 10 percent, she says—and the AI system that generated the images used in the trial has since been upgraded to a new and improved version.

Ironically, as image-generating technology continues to improve, humans’ best defense from being fooled by an AI system may be yet another AI system: one trained to detect artificial images. Experts say that as AI image generation progresses, algorithms are better equipped than humans to detect some of the tiny, pixel-scale fingerprints of robotic creation.

Creating these AI detective programs works the same way as any other machine learning task, says Yong Jae Lee, a computer scientist at the University of Wisconsin–Madison. “You collect a data set of real images, and you also collect a data set of AI-generated images,” Lee says. “Then you can train a machine-learning model to distinguish the two.”

Still, these systems have significant shortcomings, Lee and other experts say. Most such algorithms are trained on images from a specific AI generator and are unable to identify fakes produced by different algorithms. (Lee says he and a research team are working on a way to avoid that problem by training the detector to instead recognize what makes an image real.) Most detectors also lack the user-friendly interfaces that have tempted so many people to try the generative AI systems.

Moreover AI detectors will always be scrambling to keep up with AI image generators, some of which incorporate similar detection algorithms but use them as a way to learn how to make their fake output less detectable. “The battle between AI systems that generate images and AI systems that detect the AI-generated images is going to be an arms race,” says Wael AbdAlmageed, a research associate professor of computer science at the University of Southern California. “I don’t see any side winning anytime soon.”

AbdAlmageed says no approach will ever be able to catch every single artificially produced image—but that doesn’t mean we should give up. He suggests that social media platforms need to begin confronting AI-generated content on their sites because these companies are better posed to implement detection algorithms than individual users are.

And users need to more skeptically evaluate visual information by asking whether it’s false, AI-generated or harmful before sharing. “We as human species sort of grow up thinking that seeing is believing,” AbdAlmageed says. “That’s not true anymore. Seeing is not believing anymore.”

Similar Posts