[해외DS] AI의 블랙박스, 그 안을 살펴봐야 하는 이유

사우라브 교수, “AI의 블랙박스란 내부 작동이 보이지 않는 것” 머신 러닝 모델, 대규모로 “학습”된 머신 러닝 알고리즘 의미 블랙박스냐 아니냐, 모델 신뢰성에 큰 영향 끼칠 수도

6
pabii research

[해외DS]는 해외 유수의 데이터 사이언스 전문지들에서 전하는 업계 전문가들의 의견을 담았습니다. 저희 데이터 사이언스 경영 연구소 (MDSA R&D)에서 영어 원문 공개 조건으로 콘텐츠 제휴가 진행 중입니다.


Why We Need to See Inside AI's Black Box
사진=Getty Images

본 기사는 최신 연구를 다루는 온라인 매체 더컨버세이션(The Conversation)의 허가를 받아 재발행되었습니다.

사람들에게 “블랙박스”라는 단어는 어떤 의미를 가질까요? “블랙박스”는 비행기가 예상치 못한 상황을 만났을 때 유용하게 쓰이는 사후 분석 장치를 뜻하기도 하고, 혹은 작고 어두운 극장이란 의미로 쓰이기도 합니다. 이뿐만 아니라 “블랙박스”는 인공지능 분야에서도 중요한 의미를 지닙니다.

AI 블랙박스란 사용자에게 보이지 않는 동작이 내부에서 일어나는 AI 시스템을 말합니다. AI 시스템에 값을 입력하면 출력을 얻을 수 있지만 그 출력을 생성한 시스템 코드나 논리를 자세히 알 수 없는 것입니다.

머신 러닝은 인공지능의 큰 부분을 차지하고 있습니다. 이러한 사실은 ChatGPT나 DALL-E 2와 같은 생성형 AI 시스템을 이해하는 데에 밑바탕이 됩니다. 머신 러닝을 구성하는 요소는 3가지입니다: 알고리즘(혹은 여러 개의 알고리즘), 훈련 데이터, 그리고 모델. 일련의 절차라는 뜻을 가진 알고리즘은 대량의 예제(훈련 데이터)를 학습한 후 패턴을 식별합니다. 결국 “학습된” 머신 러닝 알고리즘이 머신 러닝 모델이 되는 것이고, 이를 사람들이 사용하는 것입니다.

예를 들어 머신 러닝 알고리즘은 이미지의 패턴을 식별하도록 설계될 수 있으며 훈련 데이터는 개 이미지가 될 수 있습니다. 그 결과로 머신 러닝 모델은 “개 탐지기”가 되는 것입니다. 즉 모델에 이미지를 입력하면 출력으로써 개인지 아닌지의 여부와 개를 나타내는 픽셀들의 위치를 얻게 되는 것입니다.

머신 러닝 시스템의 세 가지 구성 요소들을 블랙박스에 넣는 것처럼 보이지 않게 할 수도 있습니다. 알고리즘의 경우 시중에 알려져 있는 것이 흔하기 때문에 알고리즘을 블랙박스에 넣는 것은 덜 효과적입니다. 지적 재산을 보호하는 목적으로 AI 개발자는 종종 모델을 블랙박스에 넣곤 합니다. 소프트웨어 개발자 중 일부는 모델 훈련에 사용되는 데이터를 알아내기 어렵게 만들기도 합니다. 즉, 훈련 데이터를 블랙 박스에 넣는 것입니다.

블랙박스의 반대말은 글래스박스(Glass Box)입니다. AI 글래스박스는 알고리즘, 훈련 데이터, 모델을 누구나 볼 수 있는 시스템을 의미합니다. 하지만 이것조차도 블랙박스로 간주하는 연구자들도 있습니다.

연구자들이 머신 러닝 알고리즘, 특히 딥러닝 알고리즘을 완전히 설명하지 못하기 때문입니다. 설명 가능 AI(Explainable AI)분야에서는 글래스박스가 아니더라도 인간이 더 잘 이해할 수 있는 알고리즘을 개발하기 위해 노력하고 있습니다.

AI 블랙박스가 중요한 이유

블랙박스가 있는 머신 러닝 알고리즘과 모델을 주의해야 하는 경우는 많이 있습니다. 일례로 머신 러닝 모델이 당신의 건강에 대한 진단을 내렸다고 가정하면 그 모델을 블랙박스로 하시겠습니까, 아니면 글래스박스로 하시겠습니까? 치료 과정을 처방하는 의사는 어떻습니까? 아마도 당신은 모델이 어떻게 결정을 내린 건지 알고 싶어 할 것입니다.

또 다른 예로, 은행에서 기업 대출 승인 자격을 결정하는 머신 러닝 모델로부터 거절당하는 경우는 어떻습니까? 그 이유를 알고 싶지 않을까요? 만약 그 이유를 알아냈다면 모델의 결정에 대해 더 효과적으로 항소하거나 차후에 대출받을 수 있도록 상황을 바꿀 수도 있을 것입니다.

이뿐 아니라 블랙박스는 소프트웨어 시스템 보안에 큰 영향을 미치기도 합니다. 수년 동안 컴퓨팅 분야의 많은 사람은 소프트웨어의 내부를 블랙박스처럼 보이지 않게 하는 것이 안전하다고 생각했습니다. 해커가 소프트웨어를 자세하게 분석하는 것을 방지할 수 있을 것이라는 가정하에 말이죠. 하지만 이 가정은 잘못된 것으로 밝혀졌습니다. 몇몇 해커는 소프트웨어를 리버스 엔지니어링(Reverse Engineering) 할 수 있기 때문에(즉, 소프트웨어의 작동을 관찰하여 복사본을 만들어내고), 그리고 악용할 취약점을 발견할 수 있기 때문입니다.

만약 소프트웨어의 내부를 글래스박스처럼 보이게 한다면, 소프트웨어 테스터들과 선의의 해커들이 소프트웨어를 검사하고 제작자에게 약점을 알려 사이버 공격을 최소화할 수 있습니다.


For some people, the term “black box” brings to mind the recording devices in airplanes that are valuable for postmortem analyses if the unthinkable happens. For others it evokes small, minimally outfitted theaters. But black box is also an important term in the world of artificial intelligence.

AI black boxes refer to AI systems with internal workings that are invisible to the user. You can feed them input and get output, but you cannot examine the system’s code or the logic that produced the output.

Machine learning is the dominant subset of artificial intelligence. It underlies generative AI systems like ChatGPT and DALL-E 2. There are three components to machine learning: an algorithm or a set of algorithms, training data and a model. An algorithm is a set of procedures. In machine learning, an algorithm learns to identify patterns after being trained on a large set of examples – the training data. Once a machine-learning algorithm has been trained, the result is a machine-learning model. The model is what people use.

For example, a machine-learning algorithm could be designed to identify patterns in images, and training data could be images of dogs. The resulting machine-learning model would be a dog spotter. You would feed it an image as input and get as output whether and where in the image a set of pixels represents a dog.

Any of the three components of a machine-learning system can be hidden, or in a black box. As is often the case, the algorithm is publicly known, which makes putting it in a black box less effective. So to protect their intellectual property, AI developers often put the model in a black box. Another approach software developers take is to obscure the data used to train the model – in other words, put the training data in a black box.

The opposite of a black box is sometimes referred to as a glass box. An AI glass box is a system whose algorithms, training data and model are all available for anyone to see. But researchers sometimes characterize aspects of even these as black box.

That’s because researchers don’t fully understand how machine-learning algorithms, particularly deep-learning algorithms, operate. The field of explainable AI is working to develop algorithms that, while not necessarily glass box, can be better understood by humans.

WHY AI BLACK BOXES MATTER

In many cases, there is good reason to be wary of black box machine-learning algorithms and models. Suppose a machine-learning model has made a diagnosis about your health. Would you want the model to be black box or glass box? What about the physician prescribing your course of treatment? Perhaps she would like to know how the model arrived at its decision.

What if a machine-learning model that determines whether you qualify for a business loan from a bank turns you down? Wouldn’t you like to know why? If you did, you could more effectively appeal the decision, or change your situation to increase your chances of getting a loan the next time.

Black boxes also have important implications for software system security. For years, many people in the computing field thought that keeping software in a black box would prevent hackers from examining it and therefore it would be secure. This assumption has largely been proved wrong because hackers can reverse-engineer software – that is, build a facsimile by closely observing how a piece of software works – and discover vulnerabilities to exploit.

If software is in a glass box, then software testers and well-intentioned hackers can examine it and inform the creators of weaknesses, thereby minimizing cyberattacks.

Similar Posts