[해외DS] ‘완벽한 비밀 통신’, 생성형 AI 만나 실현된다 (2)

완벽한 스테가노그래피, 최소 엔트로피 결합과 머신 러닝의 응용 소코타 연구진, 계산 비용 문제 또한 근사치 추정으로 해결했다 기술 활용 이전에 생성형 AI 분야의 발전 뒷받침 되어야

pabii research

[해외DS] ‘완벽한 비밀 통신’, 생성형 AI 만나 실현된다 (1)에서 이어집니다.

한계 극복을 넘어서

소코타는 스테가노그래피에 관심이 없었다. 그녀는 옥스퍼드 대학의 컴퓨터 과학자 슈뢰더 드 비트(Schroeder de Witt)와 함께 머신 러닝을 연구해왔다. 이들은 여러 채널에 정보를 전송하는 방법을 찾던 중 최소 엔트로피 결합(Minimum Entropy Coupling)이라는 개념을 알게 되었다.

소코타와 슈뢰더는 최소 엔트로피 결합을 활용하여 딥러닝에 기반한 기술을 연구하고 있었다. 이를 본 소코타의 동료 마틴 스트로마이어(Martin Strohmeier)는 스테가노그래피와 그 한계에 관해 언급했다 .

스트로마이어는 가볍게 말했지만 소코타와 슈뢰더는 진지하게 받아들였다. 이들은 곧 스테가노그래피 문제에 파고들었다. 결국 얼마 안 가 최소 엔트로피 결합과 머신 러닝을 활용하여 완벽한 스테가노그래피를 위한 카친의 조건을 해결할 수 있었다.

연구진은 최소 엔트로피 결합을 통해 두 개의 확률 분포를 하나의 결합 분포로 나타냈다. 스테가노그래피를 예로 들어보자. 비밀 메시지와 일반 메시지를 각각 확률 분포로 나타내고, 최소 엔트로피 결합을 통해 이 둘 모두를 나타내는 하나의 결합 분포를 얻는다. 이 결합 분포는 두 메시지를 통계적으로 구별할 수 없게 하고 완벽한 비밀 메시지를 만들 수 있다.

이뿐만이 아니다. 연구진은 최소 엔트로피 결합을 기반으로 한 계산이 여러 방법들 가운데 가장 효율적임을 증명했다. 연구진의 새로운 방법이 완벽성과 효율성 모두 달성한 것이다. 소코타는 “덜 완벽한 연구들보다도 더 효율적”이라고 말했다.

현실적인 문제들

카친은 연구진의 알고리즘에 한계가 있다고 지적했다. 그는 최소 엔트로피 결합의 실제 해를 찾는 것이 NP-hard 문제에 해당한다고 주장했다. NP-hard 문제의 정확한 해를 얻기 위해서는 막대한 계산 비용을 지불해야 한다. 즉 효율성 문제가 다시 대두되는 것이다.

소코타와 슈뢰더 드 비트는 해당 비판을 인정했다. 실제로 계산하기에 복잡한 문제였다. 이에 그들은 근사치를 추정하는 방식(Kocaoglu의 방법을 기반으로 함)을 활용하여 병목 현상을 해결했다.

근사치 추정 방법은 아래와 같다.

첫 번째로 일반 메시지에 사용할 분포를 고른다. 이를테면 ChatGPT나 대규모 언어 모델로부터 단어를 많이 모으는 것이다.

두 번째로 일반 메시지와 비밀 메시지 사이 최소 엔트로피 결합 해의 근사치를 언어 모델을 통해 구한다. 이후 결합을 통해 새로운 비밀 메시지를 생성한다. 이 메시지는 일반적인 AI 생성 메시지처럼 보이며 외부에서 구별하기 어렵다.

슈뢰더는 왓츠앱(WhatsApp)이나 시그널(Signal)과 같은 앱 플러그인을 이용하면 알고리즘 성능을 대폭 개선할 수 있다고 말했다. 또한 반드시 텍스트일 필요도 없다. AI가 생성한 오디오와 같은 콘텐츠를 샘플링할 수도 있다.

한편 알고리즘에는 비밀 메시지의 용량이 제한된다. 슈뢰더는 AI가 생성한 음성 메일에 약 225킬로바이트의 이미지나 정보를 숨길 수 있다고 말했다. 해당 수치는 암호를 송수신하는 데 충분한 것으로 알려졌다.

스테가노그래피의 현실적 측면에 대한 의견은 이뿐만이 아니다. 프리드리히에겐 완벽한 스테가노그래피를 위한 조건이 더 있다. 바로 많은 사람이 생성형 AI 콘텐츠를 사용하는 것이다. 그녀는 생성형 AI 분야가 넓어질수록 스테가노그래피의 수준은 더욱 발전할 것이라고 말했다.

이어서 “결국 소비자들이 결정할 것”이라고 전했다. AI가 이미지를 대량으로 생성하고 사람들이 많이 사용하면 이미지 소스에 비밀 메시지를 담는 것은 더욱 쉬워진다. 발전된 스테가노그래피가 양날의 검으로 드러날 수 있는 것이다. 이에 그녀는 “범죄자들이 사용할 수 있지만 선의의 목적으로도 사용될 것”이라며 주의를 표했다.


ACHIEVING PERFECTION

But machine-generated text, of course, is not created by humans. The recent rise of generative models that focus on language, or others that produce images or sounds, suggests that perfectly secure steganography might be possible in the real world. Those models, after all, use well-defined sampling mechanisms as part of generating text that, in many cases, seems convincingly human.

Sokota and Schroeder de Witt had previously been working not on steganography, but on machine learning. They’d been pursuing new ways to transmit information through various channels, and at one point they learned of a relatively new concept in information theory called a minimum entropy coupling.

“It’s this kind of seemingly fundamental tool that’s not very well explored,” Sokota said. In a minimum entropy coupling, researchers can combine two probability distributions into a single, joint distribution that represents both systems. In the case of steganography, one of those distributions represents the cover text, and the other represents the ciphertext, which contains the hidden message. The joint distribution can ensure that the two texts are statistically indistinguishable, generating a perfectly secure message.

Sokota, Schroeder de Witt and their team had been trying to find ways to exploit the tool for new approaches to deep learning. But one day, Sokota recalled, their collaborator Martin Strohmeier mentioned that their work on minimum entropy coupling reminded him of the security issues around steganography.

Strohmeier was making a casual comment, but Sokota and Schroeder de Witt took it seriously. The group soon figured out how to use a minimum entropy coupling to design a steganographic procedure that met Cachin’s requirements for perfect security in the context of real-world machine learning systems.

“I was surprised to see that it has such a nice application in steganography,” said Murat Kocaoglu, an electrical and computer engineer at Purdue University. He doesn’t work with steganography, but he did help design one of the algorithms the team used in the paper. “This work really ties nicely back to minimum entropy coupling.”ADVERTISEMENT Then the team went further, showing that for a steganography scheme to be as computationally efficient as possible, it must be based on a minimum entropy coupling. The new strategy lays out clear directions for how to achieve both security and efficiency — and suggests that the two go hand in hand. “Our results seem to suggest that this is even more efficient than approaches that are not perfectly secure,” Sokota said.

THE REAL WORLD

There are limitations. Cachin pointed out that finding the true minimum entropy coupling is an NP-hard problem, which basically means that the perfect solution is too computationally expensive to be practical, getting back to that issue of efficiency.

Sokota and Schroeder de Witt acknowledge that problem: The optimal coupling would, indeed, be too complicated to compute. But to get around that bottleneck, the authors used an approximating procedure developed by Sokota and Schroeder de Witt (and based on a method introduced by Kocaoglu) that still guarantees security and reasonable efficiency.

Here’s how they see it working in practice: Let’s say that a dissident or a human rights activist wanted to send a text message out of a locked-down country. A plug-in for an app like WhatsApp or Signal would do the heavy algorithmic lifting, Schroeder de Witt said. The first step would be to choose a cover text distribution — that is, a giant collection of possible words to use in the message, as would come from ChatGPT or a similar large language model — that would hide the ciphertext. Then, the program would use that language model to approximate a minimum entropy coupling between the cover text and the ciphertext, and that coupling would generate the string of characters that would be sent by text. To an outside adversary, the new text would be indistinguishable from an innocent machine-generated message. It also wouldn’t have to be text: The algorithm could work by sampling machine-generated art (instead of ChatGPT) or AI-generated audio for voicemails, for example.

The new algorithms are limited in terms of the size of the secret message: Schroeder de Witt estimates that with today’s technology, their system could conceal an image (or other message) of about 225 kilobytes in about 30 seconds of machine-generated voicemail. But it doesn’t need to be enormous to be successful. That’s enough for a substantial message to get past censors or authorities.

Fridrich said she’s more accustomed to working against the limitations of the real world rather than considering the theory. “It’s interesting to see the other side,” she said. For her, the new work starts to bridge the gap between theoretical proofs and real-world messiness. If people don’t use machine-generated content, then the new scheme won’t guarantee security. But as it becomes more widespread, she said, the potential for perfect security will be stronger.

“Everything depends on what will be typical,” she said. If a machine generates a supply of innocuous images that look natural, and people become accustomed to those, then it will be easy to create a source of images enriched with secret messages. “With generative models, this approach gives a possible pathway for the two approaches to meet,” she said. Clearly, it’s also a double-edged sword. “Criminals will be using it,” Fridrich said, “but it can also be used for good.”

Similar Posts