[해외DS] ‘설명 가능한 AI’ 시대의 도래 (1)

챗GPT를 필두로 한 LLM, 그간 정보 부정확성으로 꾸준한 비판 제기돼 ‘설명 가능한’ AI 등장으로 해당 문제 해결하나 이미지 처리에 활용되는 신경망 계산이란

pabii research

[해외DS]는 해외 유수의 데이터 사이언스 전문지들에서 전하는 업계 전문가들의 의견을 담았습니다. 저희 데이터 사이언스 경영 연구소 (MDSA R&D)에서 영어 원문 공개 조건으로 콘텐츠 제휴가 진행 중입니다.


사진=Getty Images

대규모 언어 모델의 가장 큰 문제는 ‘신뢰할 수 없다는 것’입니다. 결과는 자유자재로 뽑아주는데, 정작 출력한 정보가 어디서 왔는지, 누가 썼는지 알 수 없기 때문에 곧이곧대로 받아들이기는 어렵다는 것입니다. 그런데 최근 독일에서 ‘설명 가능한’ AI인 ‘AtMan’을 개발하면서 인공지능 시대에 새로운 서막을 열 것으로 보입니다.

한편 텍스트・이미지 생성형 AI의 계산은 인공 신경망 방식으로 이뤄집니다. 인공 신경망은 인간의 두뇌 메커니즘을 본떠 만든 것인데요, 인공 신경망 기반의 AI는 각 뉴런의 가중치를 보정하는 수많은 계산을 반복함으로써 결과를 제대로 예측할 수 있게 됩니다.

LLM의 문제, 신뢰할 수 없다는 것

과거 챗GPT에 “독일 대중과학 잡지사인 스펙트럼 데 위센채프트(Spektrum der Wissenschaft)의 편집장의 이름을 알려줘”라고 했던 기억이 있습니다. 이에 챗GPT는 “제가 알고 있는 정보에 따르면, 2021년 9월 기준으로 스펙트럼 데 위센채프트의 편집장은 플로리안 프레스테터 박사(Florian Freistetter) 입니다”라고 대답했습니다. 완전 틀린 대답이였는데요, 실제 확인 결과 플로리안 프레스테터는 회사에 존재하지도 않는 인물이었기 때문입니다.

위의 일화는 현재 대규모 언어 모델(Large Language Model, LLM)의 단점을 전적으로 보여주는 사례입니다. 모델의 출력은 인간이 원하는 대로 자유자재로 이뤄지지만, 정확도를 담보하지 못한다는 것이죠. 이 같은 사례가 최근 ‘AI 환각(AI hallucination)’이라는 이슈로 전 세계 각지에서 발생하면서, 일각에서는 부정확한 정보 흡수로 인해 자칫 큰 화를 불러올 수 있다는 지적이 제기되고 있기도 합니다. 틀리면 누가 책임지냐는 거죠.

사람들이 잘 알고 있는 챗GPT를 포함해서, 대부분의 AI 알고리즘은 전문가들로부터 ‘블랙박스’ 모형이라는 비판을 받습니다. 머신러닝 및 인공지능 기술이 복잡한 형태로 발전하면서, 인간이 더 이상 모델이 결괏값을 출력하는 ‘과정’에 대해 이해할 수 없게 됐다는 것이죠. 이제는 AI 알고리즘으로 작성된 결과와 출력을 인간인 사용자가 이해하고 신뢰할 수 있도록 하는 이른바 ‘설명 가능한 AI 모델(explainable AI, XAI)’이 필요한 시점이 온 것입니다.

설명 가능한 AI의 등장

그런데 최근 독일 다름슈타트 공과대학(Technical University of Darmstadt) 컴퓨터 과학자 크리스티안 커스팅(Kristian Kersting)이 설명 가능한 AI인 ‘AtMan’을 세상에 내놓으면서 한참 화제가 된 적이 있습니다. 커스팅에 따르면 AtMan은 기존 LLM처럼 인간이 원하는대로 결과를 출력해 주는 한편, 출력값에 대해 ‘추론’ 기능을 탑재해 유저들이 해당 출력값을 신뢰할 수 있도록 한다네요. 사용자가 모델이 제대로 결과를 출력했는지 확인할 수 있게 한다는거죠.

AtMan은 AI의 ‘인종차별’을 탐지할 수 있다고도 하네요. 예를 들어 은행이 AI 알고리즘을 통해 여신 사업을 진행한다고 하면, AtMan은 해당 AI가 피부색, 성별 등의 특성으로 대출 신청자를 부당하게 평가했는지 여부를 자체적으로 검열할 수 있다는 것입니다. 그간 AI를 활용한 대출 심사에서 특정 인종이라는 이유로 대출을 불리한 조건으로 받게 된 사례가 종종 있었는데, 이를 AtMan이 해결할 수 있다는거죠.

유저가 이미지 생성 AI의 복잡한 계산 메커니즘을 이용하는데도 AtMan이 도움을 줄 수 있을 것으로 보입니다. 개발자 커스팅은 “AtMan은 Dall-E뿐만 아니라 다양한 장애를 진단하기 위해 의료 스캔을 분석하는 AI 전반에도 활용될 예정”이라며 “이를 통해 생성형 AI 알고리즘이 어떻게 의사 결정을 내리는지 인간이 더 명확하게 이해하게 될 것”이라고 밝혔습니다.

한편 AtMan 개발에 참여했던 슈라모프스키(Schramowski)는 “문제는 AI가 너무 빠르게 발전하고 있다는 것”이라며 “AI가 결론에 도달하는 방식을 이해해야할 필요가 있다”고 전했습니다. 대부분의 생성형 AI가 ‘블랙박스’ 모델이라는 비판을 받는 만큼, 이에 발맞춰 ‘설명 가능한’ AI 기술을 개발해 인공지능을 인간의 눈으로 따라갈 필요가 있다는 뜻이죠.

이미지 처리에 신경망 계산이 활용되는 예/사진= Scientific American

생성형 AI에 적용되는 신경망 계산

언어 모델, 번역 프로그램, 이미지 생성 AI 등 요즘 온갖 뉴스의 화두로 떠오르는 생성형 AI(Generative AI)는 인공 신경망으로 구성됩니다. 인공 신경망은 인간두뇌의 신경세포인 뉴런이 연결된 형태를 모방한 모델로, 입력받은 데이터를 통해 결과를 제대로 출력하도록 컴퓨터를 학습시키는 계산과학(Computational Science) 알고리즘입니다. 인공 신경망은 다시 여러 ‘레이어(layer)’와 여러 ‘뉴런(neuron)’으로 구성되는데요, 이 때 뉴런 사이의 연결을 ‘시냅스(synapse)’라고 하고, 각각의 시냅스에는 ‘가중치(weight)’라는 값이 지정되게 됩니다.

예를 들어 봅시다. 유저가 생성형 AI에 이미지를 전달하게 되면, 이미지의 무수한 픽셀들은 각각 숫자로 변환됩니다. 이후 위 그림의 첫 번째 레이어의 뉴런이 해당 수치 값을 받아들이고, 해당 데이터는 계속 레이어별로 신경망을 통과하게 됩니다. 한 레이어의 뉴런 값에 시냅스의 가중치를 곱하고 다음 레이어의 뉴런으로 전송되는 식인거죠. 이렇게 마지막의 레이어의 뉴런에 도달할 때까지 계산은 이어지게 됩니다.

한편 인공 신경망이 올바른 결과를 출력하기 위해서는 가중치를 올바르게 보정하는 작업을 거쳐야 합니다. 해당 가중치를 찾기 위한 계산은 통상 ‘trial-error(시행 착오)’ 방식으로 수 없이 반복되는데, 해당 방법론으로는 역전파(back-propagation), 볼츠만 머신(Botlzmann machine) 등이 사용됩니다. 이같은 방법을 통해 가중치를 제대로 찾게되면 비로소 AI 알고리즘이 다양한 이미지를 정답으로 맞출 수 있게 되는거죠.

위 가중치 계산 중 역전파에 대한 예를 들면 다음과 같습니다. 가령 입력 이미지로 ‘갈매기’가 들어올 경우, 해당 이미지는 앞서 살펴봤듯 신경망의 입력 레이어를 거쳐 수 많은 가중합 계산을 통해 출력 레이어로 도달합니다. 이 때 최종적으로 출력된 값이 ‘갈매기’가 아닌 경우, 신경망 맨 마지막 레이어에 해당하는 가중치부터 하나씩 수정하면서 어떤 가중치가 결과에 큰 영향을 미쳤는지 추적하고 이를 수정하는 과정을 반복하게 됩니다. 이러한 일련의 훈련이 성공적으로 종료돼 가중치를 올바르게 찾게 되면, 비로소 알고리즘이 해당 이미지를 정확하게 맞추게 되는 것입니다.

[해외DS] ‘설명 가능한 AI’ 시대의 도래 (2)로 이어집니다


When I asked ChatGPT to name the editor in chief of Spektrum der Wissenschaft, the German-language sister publication of Scientific American, the answer was, “I have the latest information until 2021, and at that time Dr. Florian Freistetter was the editor-in-chief of Spektrum der Wissenschaft. However, it is possible that the information has changed since then.” This highlights one of the biggest drawbacks of current language-generating artificial intelligence programs: they “hallucinate.” While Spektrum der Wissenschaft features a lot of work by Freistetter, he was never a staff member—let alone editor in chief—of Spektrum der Wissenschaft. That’s why it is important to work on so-called explainable AI (XAI) models that can justify their answers—and thus become more transparent.

Most AI programs function like a “black box.” “We know exactly what a model does but not why it has now specifically recognized that a picture shows a cat,” said computer scientist Kristian Kersting of the Technical University of Darmstadt in Germany to the German-language newspaper Handelsblatt. That dilemma prompted Kersting—along with computer scientists Patrick Schramowski of the Technical University of Darmstadt and Björn Deiseroth, Mayukh Deb and Samuel Weinbach, all at the Heidelberg, Germany–based AI company Aleph Alpha—to introduce an algorithm called AtMan earlier this year. AtMan allows large AI systems such as ChatGPT, Dall-E and Midjourney to finally explain their outputs.

In mid-April 2023 Aleph Alpha integrated AtMan into its own language model Luminous, allowing the AI to reason about its output. Those who want to try their hand at it can use the Luminous playground for free for tasks such as summarizing text or completing an input. For example, “I like to eat my burger with” is followed by the answer “fries and salad.” Then, thanks to AtMan, it is possible to determine which input words led to the output: in this case, “burger” and “favorite.”

AtMan’s explanatory power is limited to the input data, however. It can indeed explain that the words “burger” and “like” most strongly led Luminous to complete the input with “fries and salad.” But it cannot reason how Luminous knows that burgers are often consumed with fries and salad. This knowledge remains in the data with which the model was trained.

AtMan also cannot debunk all of the lies (the so-called hallucinations) told by AI systems—such as that Florian Freistetter is my boss. Nevertheless, the ability to explain AI reasoning from input data offers enormous advantages. For example, it is possible to quickly check whether an AI-generated summary is correct—and to ensure the AI hasn’t added anything. Such an ability also plays an important role from an ethical perspective. “If a bank uses an algorithm to calculate a person’s creditworthiness, for example, it is possible to check which personal data led to the result: Did the AI use discriminatory characteristics such as skin color, gender, and so on?” says Deiseroth, who co-developed AtMan.

Moreover AtMan is not limited to pure language models. It can also be used to examine the output of AI programs that generate or process images. This applies not only to programs such as Dall-E but also to algorithms that analyze medical scans in order to diagnose various disorders. Such a capability makes an AI-generated diagnosis more comprehensible. Physicians could even learn from the AI if it were to recognize patterns that previously eluded humans.

AI ALGORITHMS ARE A “BLACK BOX”

“AI systems are being developed extremely quickly and sometimes integrated into products too early,” says Schramowski, who was also involved in the development of AtMan. “It’s important that we understand how an AI arrives at a conclusion so that we can improve it.” That’s because algorithms are still a “black box”: while researchers understand how they generally function, it’s often unclear why a specific output follows a particular input. Worse, if the same input is run through a model several times in a row, the output can vary. The reason for this is the way AI systems work.

Modern AI systems—such as language models, machine translation programs or image-generating algorithms—are constructed from neural networks. The structure of these networks is based on the visual cortex of the brain, in which individual cells called neurons pass signals to one another via connections called synapses. In the neural network, computing units act as the “neurons,” and they are built up in several layers, one after the other. As in the brain, the connections between the mechanical neurons are called “synapses,” and each one is assigned a numerical value called its “weight.”

If, for example, a user wants to pass an image to such a program, the visual is first converted into a list of numbers where each pixel corresponds to an entry. The neurons of the first layer then accept these numerical values.

Next, the data pass through the neural network layer by layer: the value of the neuron in one layer is multiplied by weight of the synapse and transferred to the neuron from the next layer. If necessary, the result there must be added to the values of other synapses that end at the same neuron. Thus, the program processes the original input layer by layer until the neurons of the last layer provide an output—for example, whether there is a cat, dog or seagull in the image.

But how do you make sure that a network processes the input data in a way that produces a meaningful result? For this, the weights—the numerical values of the synapses—must be calibrated correctly. If they are set appropriately, the program can describe a wide variety of images. You don’t configure the weights yourself; instead you subject the AI to training so that it finds values that are as suitable as possible.

This works as follows: The neural network starts with a random selection of weights. Then the program is presented with tens of thousands or hundreds of thousands of sample images, all with corresponding labels such as “seagull,” “cat” and “dog.” The network processes the first image and produces an output that it compares to the given description. If the result differs from the template (which is most likely the case in the beginning), the so-called backpropagation kicks in. This means the algorithm moves backward through the network, tracking which weights significantly influenced the result—and modifying them. The algorithm repeats this combination of processing, checking and weight adjustment with all training data. If the training is successful, the algorithm is then able to correctly describe even previously unseen images.

Similar Posts