[해외DS] 다음 대통령은 AI일 수도 있다

Open AI CEO 샘 알트먼, 청문회서 AI 기반 선거 운동의 위력 언급 강화학습 기반 AI, 기존의 선거 운동 양상 아예 바꿀 수도 AI의 정치적 활용, 규제 논의 확산하고 있어

pabii research

[해외DS]는 해외 유수의 데이터 사이언스 전문지들에서 전하는 업계 전문가들의 의견을 담았습니다. 저희 데이터 사이언스 경영 연구소 (MDSA R&D)에서 영어 원문 공개 조건으로 콘텐츠 제휴가 진행 중입니다.


사진=Getty Images

ChatGPT와 같은 인공 지능 언어 모델을 사용해서 유권자들을 원하는 대로 조종할 수 있을까요?

지난 5월 16일 미국 상원에서 열린 인공지능 관련 청문회에서 조시 홀리 (Josh Hawley) 상원의원이 OpenAI의 CEO 샘 알트먼(Sam Altman)에게 던진 질문입니다. 이에 알트먼은 일부 사람들이 언어 모델을 통해 유권자를 조종할 수 있다는 점을 우려한다고 전했습니다.

알트먼이 생각한 시나리오는 다음과 같습니다. 정치권의 과학 기술자들이 클로거(Clogger)라고 불리는 인공지능을 개발했다고 합시다. 클로거는 오로지 한 가지 목표를 가지고 있습니다. 이 클로거를 갖고 있는 정당이 선거에서 승리하는 것이죠.

페이스북, 트위터, 유튜브의 인공지능의 목표는 사람들이 사이트에서 더 많은 시간을 보내는 것이지만, 클로거의 목표는 사람들이 누구를 투표할지에 결정적인 영향을 끼치는 것입니다.

클로거의 작동 방식

통상적인 광고 전략은 유저의 검색 기록과 소셜 미디어 기록을 기반으로 상업 및 정치적 메시지를 전하는 것입니다. 마찬가지로 수억 명의 유권자에게 개별적인 광고를 전할 수 있는 클로거와 같은 자동화 인공지능은 사람들을 매우 높은 수준으로 조작할 수 있습니다. 클로거에는 현재의 최첨단 알고리즘보다 뛰어난 기능이 세 가지 있습니다.

첫째로, 클로버는 텍스트, 소셜 미디어, 이메일(이미지 및 동영상 포함)을 통해 사용자 맞춤형 메시지를 생성할 수 있다는 것입니다. 비교적 규모가 작은 통상적인 광고 전략에 비해, ChatGPT와 같은 언어 모델은 개인 맞춤형 메시지뿐만 아니라 다른 사람들을 위한 메시지를 선거 운동 기간 동안 수없이 많이 생성할 수 있습니다.

둘째, 클로거는 강화 학습(Reinforcement Learning)을 사용합니다. 이 기술을 통해 클로버가 원하는 후보를 사람들이 고를 수 있도록 유도하는 메시지를 생성합니다. 강화 학습은 머신 러닝과 시행 착오 방식의 결합입니다. 즉 컴퓨터의 행동에 피드백을 주고 목표를 달성하도록 학습 시키는 것입니다. 강화 학습을 활용한 다른 사례의 경우 바둑, 체스 및 많은 비디오 게임에서 인간보다 잘한다는 평가를 받기도 합니다.

마지막으로, 선거 운동이 진행되는 동안 클로거는 계속 진화합니다. 클로거가 진화할 때는 자신의 메시지에 따른 사람의 반응뿐 아니라 다른 사람의 투표 결정을 바꿨던 사례들까지 고려합니다. 결국 클로거는 시간이 지나면서 수백만 명의 다른 사람들과 역동적인 ‘대화’를 이어갈 수 있습니다. 클로거의 메시지는 여러 웹사이트와 소셜 미디어를 걸쳐 사람을 따라다니는 광고와 유사하다고 볼 수 있습니다.

AI의 본질

한편 클로거는 주목할 만한 세 가지 기능(혹은 버그)을 더 갖고 있습니다.

첫째, 클로거가 보내는 메시지는 정치적일 수도 있고 아닐 수도 있습니다. 클로거의 유일한 목표는 득표율을 극대화하는 것이며, 이 목표를 달성하기 위해 기존에 없었던 새로운 전략을 고안할 수 있습니다.

일례로 클로거는 상대 후보의 유권자에게 스포츠나 엔터테인먼트와 같은 정치적이지 않은 정보들을 보내 다른 정치적 메시지를 묻어버릴 수 있습니다. 또 다른 예로 상대 후보의 연설 타이밍에 맞춰 요실금 광고와 같은 불쾌한 메시지를 보내는 것도 있습니다. 유권자의 소셜 미디어 그룹을 조작하여 가족, 이웃, 친구들이 특정 후보를 지지하는 것처럼 보이게 하는 것도 마찬가지로 클로거가 취할 수 있는 전략 중 하나입니다.

둘째, 클로거는 진실을 고려하지 않습니다. 실제로 클로거에는 무엇이 진실인지 거짓인지 알 수 있는 능력이 없습니다. 클로거의 목적은 정확한 정보를 제공하는 것이 아니라 본인이 원하는 방향의 투표를 유도하는 것이기 때문에 언어 모델의 고질병인 “환각(Hallucination)”은 문제가 되지 않습니다.

마지막으로, 클로거는 내부 구조를 알 수 없는 블랙박스 유형의 인공지능이기 때문에 사람들은 어떤 전략을 사용했는지 알아낼 수 없습니다.

민주주의가 아니라 ‘클로거주의’

만약 2024년에 공화당 대선 선거본부가 클로거를 사용하고 민주당도 비슷한 인공지능으로 대응한다고 가정해 볼까요? 이 인공지능을 도거(Dogger)라고 불러봅시다. 대선은 클로거 대 도거의 대결로 귀결될 수 있으며, 더 뛰어난 인공지능을 가진 정당이 승리를 거둘 것입니다.

이날 승리한 정당의 콘텐츠는 후보자나 정당이 아니라 오로지 승리에만 초점을 맞춘 인공지능의 결과물일 것입니다. 즉, 선거에서 승리한 것은 사람이 아니라 인공지능인 셈입니다. 연설, 광고, 메시지, 투표, 개표 등 민주주의의 모든 부분이 정상적으로 돌아갔더라도 선거는 더 이상 민주적이지 않았을 것입니다. 민주주의가 아닌 ‘클로거주의’라고 부를 수도 있겠죠.

인공지능의 도움으로 선출된 대통령에게는 두 개의 선택지가 있습니다. 먼저 대통령은 공화당이나 민주당의 정책을 선택할 수 있습니다. 하지만 이를 기반으로 한 대통령의 결정들에는 유권자의 의사가 반영되지 않았을 것입니다. 정당의 정책이 사람들이 투표한 이유와 관련이 거의 없다고 볼 수 있습니다. 유권자들은 정치 지도자와 정책을 자유롭게 선택한 것이 아니라 인공지능에게 조종당한 것이기 때문입니다.

두 번째 선택지는 다음 대선에서도 당선되기 위해 클로거가 제시한 행동 및 정책을 대통령이 따르는 것입니다. 이 경우에 대통령은 권력을 유지하는 것 외에 특별한 공약이나 의제를 내세우지 않을 것입니다. 클로거의 지시를 따르는 대통령은 유권자의 진정한 이익이나 대통령 자신의 이념에 부합하는 방향보다는 유권자를 조종할 가능성이 가장 높은 방향을 택할 것입니다.

‘클로거주의’를 방지하려면

후보자, 선거운동본부, 정치 컨설턴트 모두가 이러한 인공지능을 정치적으로 사용하지 않는다면 인공지능의 선거 조작을 피할 수 있을 것입니다. 하지만 그럴 가능성은 작습니다. 정치적으로 효과가 있고, 내부 구조가 보이지 않는 인공지능이 개발된다면 그 사용을 쉽게 거부할 수 없기 때문입니다. 실제로 정치 컨설턴트들은 인공지능을 사용하여 후보자의 당선을 돕는 것이 자기 일이라고 생각할 수 있습니다. 만약 한 후보가 이러한 클로거를 사용하는 경우 상대 후보가 도거를 사용하지 않고 혼자 맞서는 일은 거의 일어나지 않을 것입니다.

한편 개인 정보 보호를 강화하는 것이 ‘클로거주의’ 방지에 도움이 될 수도 있습니다. 클로거는 개인을 추적하고, 설득하거나 조작하기 위한 맞춤형 메시지를 작성하고, 선거운동이 진행되는 동안 방대한 양의 개인 데이터에 접근해야 합니다. 데이터를 제공하는 기업이 클로거의 접근을 거부하거나 정책적으로 개인 정보 보호를 강화한다면 ‘클로거주의’의 가능성을 낮출 수 있습니다.

또 다른 해결책은 선거관리위원회에 있습니다. 선거관리위원회는 이러한 인공지능을 금지하거나 엄격하게 규제할 수 있습니다. 이러한 ‘인공지능이 만들어 낸 콘텐츠’의 본질이 정치적이라 할지라도 규제의 대상인지에 대해서는 치열한 논쟁이 벌어지고 있습니다. 미국의 극단적인 전통인 표현의 자유를 근거로 들며 많은 주요 학자는 규제할 수 없다고 말합니다.

그러나 수정헌법 제1조, 즉 표현의 자유 보장이 클로거가 만든 콘텐츠에도 자동으로 확대 적용되어야 할 이유는 없습니다. 1789년에 등장한 표현의 자유 보장이 인공지능을 고려해서 만든 것이 아니기 때문입니다. 만약 국가가 인공지능의 표현의 자유를 인정한다면 이것은 현재의 특정 문제들을 해결하기 위해서일 것입니다.

유럽 연합 규제 당국도 이러한 방향으로 나아가고 있습니다. 정책 입안자들은 유럽 의회의 인공지능 법 초안을 수정하여 “선거에서 유권자에게 영향을 미치는 인공지능 시스템”을 “고위험군”으로 지정하고 규제 조사 대상으로 지정했습니다.

유럽 인터넷 규제 당국과 캘리포니아에서 이미 인공지능을 포함한 ‘봇’이 사람으로 위장하는 것을 금지하는 법안을 부분적으로 개정했고, 이는 헌법에 위배되지 않는다고 밝힌 바 있습니다. 즉, 선거 운동에 포함된 콘텐츠가 사람이 아닌 인공지능에 의해 생성된 경우 그 콘텐츠에 면책 조항을 포함하도록 규제한다는 것입니다.

예를 들어, 기존의 광고 면책 조항만을 반영한다면 “샘 존스 연방하원위원회에서 비용을 지불함”이라고 광고할 수 있습니다. 하지만 규제가 적용된다면 인공지능이라는 출처를 반영하도록 수정하여 “인공지능이 생성한 이 광고는 샘 존스 연방하원위원회에서 비용을 지불했습니다.”로 변경할 수 있습니다. 나아가 더 강력한 규제를 적용할 수도 있습니다. “인공지능이 생성한 이 메시지는 샘 존스 의원 위원회에서 귀하에게 보내는 것으로, 이 메시지를 클릭하면 샘 존스 후보에게 투표할 확률이 0.0002% 증가할 것으로 클로거가 예측했기 때문입니다.”라고 설명할 수 있습니다. 최소한 유권자는 사람이 아닌 것이 말을 걸 때 그 사실을 알 권리가 있으며, 그 이유도 알아야 한다고 생각합니다.

수억 명의 사람들을 꼭두각시로 만드는 것에는 엄청나게 대단한 인공지능 기술이 필요하지 않을 수 있습니다. 그저 클로거와 같은 인공지능 시스템과 이를 다루는 몇 명의 사람만으로 충분할 것입니다.

본 기사는 최신 연구를 다루는 온라인 매체 더컨버세이션(The Conversation)의 허가를 받아 재발행되었습니다. 이 글은 사이언티픽 아메리칸(Scientific American)에 의해 수정되었으며 원본과 다를 수 있습니다.


The following essay is reprinted with permission fromThe Conversation, an online publication covering the latest research. It has been modified by the writers for Scientific American and may be different from the original.

Could organizations use artificial intelligence language models such as ChatGPT to induce voters to behave in specific ways?

Sen. Josh Hawley asked OpenAI CEO Sam Altman this question in a May 16, 2023, U.S. Senate hearing on artificial intelligence. Altman replied that he was indeed concerned that some people might use language models to manipulate, persuade and engage in one-on-one interactions with voters.

Here’s the scenario Altman might have envisioned/had in mind: Imagine that soon, political technologists develop a machine called Clogger – a political campaign in a black box. Clogger relentlessly pursues just one objective: to maximize the chances that its candidate – the campaign that buys the services of Clogger Inc. – prevails in an election.

While platforms like Facebook, Twitter and YouTube use forms of AI to get users to spend more time on their sites, Clogger’s AI would have a different objective: to change people’s voting behavior.

HOW CLOGGER WOULD WORK

As a political scientist and a legal scholar who study the intersection of technology and democracy, we believe that something like Clogger could use automation to dramatically increase the scale and potentially the effectiveness of behavior manipulation and microtargeting techniques that political campaigns have used since the early 2000s. Just as advertisers use your browsing and social media history to individually target commercial and political ads now, Clogger would pay attention to you – and hundreds of millions of other voters – individually.

It would offer three advances over the current state-of-the-art algorithmic behavior manipulation. First, its language model would generate messages — texts, social media and email, perhaps including images and videos — tailored to you personally. Whereas advertisers strategically place a relatively small number of ads, language models such as ChatGPT can generate countless unique messages for you personally – and millions for others – over the course of a campaign.

Second, Clogger would use a technique called reinforcement learning to generate messages that become increasingly more likely to change your vote. Reinforcement learning is a machine-learning, trial-and-error approach in which the computer takes actions and gets feedback about which work better in order to learn how to accomplish an objective. Machines that can play Go, Chess and many video games better than any human have used reinforcement learning.

And last, over the course of a campaign, Clogger’s messages could evolve to take into account your responses to prior dispatches and what it has learned about changing others’ minds. Clogger would carry on dynamic “conversations” with you – and millions of other people – over time. Clogger’s messages would be similar to ads that follow you across different websites and social media.

THE NATURE OF AI

Three more features – or bugs – are worth noting.

First, the messages that Clogger sends may or may not be political. The machine’s only goal is to maximize vote share, and it would likely devise strategies for achieving this goal that no human campaigner would have considered.

One possibility is sending likely opponent voters information about nonpolitical passions that they have in sports or entertainment to bury the political messaging they receive. Another possibility is sending off-putting messages – for example incontinence advertisements – timed to coincide with opponents’ messaging. And another is manipulating voters’ social media groups to give the sense that their family, neighbors, and friends support its candidate.

Second, Clogger has no regard for truth. Indeed, it has no way of knowing what is true or false. Language model “hallucinations” are not a problem for this machine because its objective is to change your vote, not to provide accurate information.

Finally, because it is a black box type of artificial intelligence, people would have no way to know what strategies it uses.

CLOGOCRACY

If the Republican presidential campaign were to deploy Clogger in 2024, the Democratic campaign would likely be compelled to respond in kind, perhaps with a similar machine. Call it Dogger. If the campaign managers thought that these machines were effective, the presidential contest might well come down to Clogger vs. Dogger, and the winner would be the client of the more effective machine.

The content that won the day would have come from an AI focused solely on victory, with no political ideas of its own, rather than from candidates or parties. In this very important sense, a machine would have won the election rather than a person. The election would no longer be democratic, even though all of the ordinary activities of democracy – the speeches, the ads, the messages, the voting and the counting of votes – will have occurred.

The AI-elected president could then go one of two ways. He or she could use the mantle of election to pursue Republican or Democratic party policies. But because the party ideas may have had little to do with why people voted the way that they did – Clogger and Dogger don’t care about policy views – the president’s actions would not necessarily reflect the will of the voters. Voters would have been manipulated by the AI rather than freely choosing their political leaders and policies.

Another path is for the president to pursue the messages, behaviors and policies that the machine predicts will maximize the chances of reelection. On this path, the president would have no particular platform or agenda beyond maintaining power. The president’s actions, guided by Clogger, would be those most likely to manipulate voters rather than serve their genuine interests or even the president’s own ideology.

AVOIDING CLOGOCRACY

It would be possible to avoid AI election manipulation if candidates, campaigns and consultants all forswore the use of such political AI. We believe that is unlikely. If politically effective black boxes were developed, competitive pressures would make their use almost irresistible. Indeed, political consultants might well see using these tools as required by their professional responsibility to help their candidates win. And once one candidate uses such an effective tool, the opponents could hardly be expected to resist by disarming unilaterally.

Enhanced privacy protection would help. Clogger would depend on access to vast amounts of personal data in order to target individuals, craft messages tailored to persuade or manipulate them, and track and retarget them over the course of a campaign. Every bit of that information that companies or policymakers deny the machine would make it less effective.

Another solution lies with elections commissions. They could try to ban or severely regulate these machines. There’s a fierce debate about whether such “replicant” speech, even if it’s political in nature, can be regulated. The U.S.’s extreme free speech tradition leads many leading academics to say it cannot.

But there is no reason to automatically extend the First Amendment’s protection to the product of these machines. The nation might well choose to give machines rights, but that should be a decision grounded in the challenges of today, not the misplaced assumption that James Madison’s views in 1789 were intended to apply to AI.

European Union regulators are moving in this direction. Policymakers revised the European Parliament’s draft of its Artificial Intelligence Act to designate “AI systems to influence voters in campaigns” as “high risk” and subject to regulatory scrutiny.

One constitutionally safer, if smaller, step, already adopted in part by European internet regulators and in California, is to prohibit bots from passing themselves off as people. For example, regulation might require that campaign messages come with disclaimers when the content they contain is generated by machines rather than humans.

This would be like the advertising disclaimer requirements – “Paid for by the Sam Jones for Congress Committee” – but modified to reflect its AI origin: “This AI-generated ad was paid for by the Sam Jones for Congress Committee.” A stronger version could require: “This AI-generated message is being sent to you by the Sam Jones for Congress Committee because Clogger has predicted that doing so will increase your chances of voting for Sam Jones by 0.0002%.” At the very least, we believe voters deserve to know when it is a bot speaking to them, and they should know why, as well.

The possibility of a system like Clogger shows that the path toward human collective disempowerment may not require some superhuman artificial general intelligence. It might just require overeager campaigners and consultants who have powerful new tools that can effectively push millions of people’s many buttons.

This is an opinion and analysis article, and the views expressed by the author or authors are not necessarily those of Scientific American.

This article was originally published on The Conversation. Read the original article.

Similar Posts