[해외 DS] AI 감정 시스템, 과연 감정을 읽는게 맞는걸까

표정으로 감정 파악하는 AI감정시스템, 일각에서는 얼굴 표정으로 감정 파악 못한다고 비판 얼굴 표정과 감정의 관계에 대한 잘못된 이해, Darwin의 진화론의 잘못된 해석으로부터 비롯돼 최근 유전학을 통해 위와 같은 사실 뒷받침되고 있다

6
pabii research

[해외DS]는 해외 유수의 데이터 사이언스 전문지들에서 전하는 업계 전문가들의 의견을 담았습니다. 저희 데이터 사이언스 경영 연구소 (MDSA R&D)에서 영어 원문 공개 조건으로 콘텐츠 제휴가 진행 중입니다.

사진=Cavan Images/Getty Images

일반적으로 얼굴 표정이 감정을 대변한다고 알려져있습니다. 일부 전문가들은 사람들이 행복할 때 웃는 얼굴, 화날 때 찌푸리는 얼굴, 놀랄 때 눈을 크게 뜨는 것과 같은 특정 감정을 표현하는 구체적인 얼굴표정을 짓는다고 주장합니다.이들은 얼굴 표현이 자연선택에 의해 진화했다는 주장을 Charles Darwin의 1872년 저서 The Expression of the Emotions in Mans and Animals를 통해 뒷받침합니다.

그러나 일각에서는 얼굴 표정이 감정적 의미 전달을 의미하지는 않는다고 지적합니다. 예컨대 사람들은 적이 몰락할 때 증오의 의미로 미소를 짓고, 짓궃은 말장난을 듣고 재밌어서 얼굴을 찌푸릴 수도 있습니다. 멜라네시아 문화에서 눈을 크게 뜨고 놀란 표정을 하는 것은 두려워하는 것이 아닌 공격성을 나타내는 것으로 알려졌습니다. 이와 같은 이유로 일부 과학자들은 보편적으로 짓는 얼굴 표정이 문화적 고정관념을 표현할 뿐 감정을 전달하는 것이 아니라고 주장합니다. 양측 다 공통적으로 얼굴 표정이 주어진 감정에 따라 다르다는 것을 인정하고 있지만, 여기서 논쟁의 요지는 얼굴 표정을 통해 누군가의 감정을 파악할 수 있는지 여부에 대한 것입니다.

이 문제는 현실에서 우리가 부딪치는 문제이기도 합니다. 예컨대 면접을 보면서 ‘AI 감정 시스템’으로 인터뷰 중에 면접자의 얼굴 움직임을 평가하는 인공지능을 통해 최종 합불의 당락을 결정할 수 있습니다. 미국 법원에서 판사나 배심원단은 피고인의 얼굴에 반성의 기색이 없을 때 더 엄중한 처벌을 선고하기도 합니다. 유치원에 다니는 아이들은 선생님으로부터, 또는 게임과 책으로부터 미소를 행복으로, 찌푸린 얼굴을 분노로 배웁니다. 그러나, 다른 사람들의 감정을 이해하는데 어려움을 겪는 자폐 스펙트럼을 가진 아이들에게 이런 가르침은 의사소통 방법을 발전시키는데 도움을 전혀 주지 못하고 있는 것으로 밝혀지고 있습니다. 얼굴 표정이 감정을 대변하지 않기 때문입니다.

이러한 잘못된 과학적 주장이 발생한 이유를 알기 위해서는 다윈의 진화론에 대한 잘못된 해석에 대해 이해 해야 할 필요가 있습니다.

얼굴 표정과 감정이 일치한다는 주장은 19세기 프랑스 의사 Guillaume-Benjamin-Amand Duchenne의 사진으로부터 거슬러올라갑니다. Duchenne은 사람들의 안면 근육을 전기로 자극하고 이에 대한 수축을 촬영한 바 있습니다.

Darwin은 이에 영감을 받아 그의 저서 Expression에서 미소는 행복을 나타내고, 찌푸리는 표정은 슬픔을 나타내는 등 특정 얼굴의 움직임이 감정의 보편적 단서가 된다고 밝혔습니다. 이를 통해 Darwin은 감정이 다른 동물과 공유되는 타고난 생물학적 표현이 있다고 주장했습니다.

그러나, 최근 다수의 증거가 다윈이 주장이 틀렸다는 것을 반영하고 있습니다. 현실 세계에서 사람들은 자신의 감정을 다양한 방식으로 표현합니다. 예컨대, 최근 연구에 따르면 도시에서 사는 현대인들은 화가 날 때 약 35% 정도만이 찌푸린 얼굴을 한다는 사실이 밝혀졌습니다. 찌푸린 얼굴은 집중을 하고 있거나, 무언가를 참고 있을 때도 나타나는 표정이기 때문입니다. 또한 최근 연구에 따르면, 이는 찌푸린 얼굴 뿐만 아니라 대부분의 사람의 얼굴 표정이 한 가지 감정만을 대표하는 것은 아니라는 사실이 밝혀지고 있습니다.

이런 이유로, 감정 AI 시스템은 감정을 감지하는 것이 아닙니다. AI는 안면 근육의 움직임과 같은 물리적 신호를 감지할 뿐입니다. 하지만, 얼굴의 표정과 감정을 동일시하는 경향은 이미 서양 문화와 과학에 깊이 뿌리내린 것으로 보입니다. 한 가지 예로 600만 개가 넘는 얼굴 표정이 담긴 영상을 AI알고리즘에 학습시킨 연구가 있었습니다. 인공지능을 학습시킨 연구자들은 영상 속 사람들이 그 순간에 어떤 감정을 느꼈는지 확인할 객관적인 방법도 없이, 얼굴 움직임에 대해 “찡그린다”와 같은 물리적 설명이 아닌, “화났다”라는 설명으로 AI를 학습시켰습니다.

또한 얼굴 움직임이 뇌가 받아들이는 방대한 양의 맥락적 정보 중 단 한 가지의 정보에 불과하다는 많은 증거가 존재합니다. 예를 들어 사람들에게 오직 찡그린 얼굴을 보여주면 이를 고통이나 좌절감으로 인식하는 반면, 마라톤의 결승선을 통과하는 주자의 찡그리는 얼굴을 보여주면 이를 사람들은 성취감을 느끼는 것으로 받아들입니다. 즉, 얼굴 표정은 사람의 감정 상태를 파악하는데 활용할 수 있는 여러 가지 정보 중 하나로 봐야 한다는 것입니다.

다윈은 그의 저서 ‘Expression’에서 특정 감정을 나타내는 뚜렷하고 불변의 물리적 ‘본질’이 존재한다고 주장했습니다. 과학자들은 이 ‘본질’이 무엇인지에 대해 다양하게 답을 냈는데, 그 중 일부는 얼굴 움직임 말고도 의료 기구로 측정할 수 있는 심박수, 호흡 및 체온이 존재한다고 보고 있습니다. 본질이 존재하지 않는다는 것을 증명하는 것은 사실상 불가능하기 때문에, 이 설명은 매우 설득력 있어 보입니다. 특히 과학자들은 아직 과학적 방법론이 본질을 찾기에 충분하지 않다고 변명을 함으로써 얼굴 표정과 감정이 동치라는 주장을 정당화하고 있습니다.

이 난제에 대한 해결책은 ‘Expression’보다 13년 더 앞서 쓰인 Darwin의 유명 저서 ‘On the Origin of Species’에서 찾을 수 있습니다. 이 저서는 역설적이게도 생물학이 본질주의의 손아귀에서 벗어나도록 도와줬습니다. ‘On the Origin of Species’가 출판되기 전, 대부분의 학자들은 기독교적 윤리관에 따라 각 생물 종이 다른 종과 구별되는 ‘본질’이 존재하고, 신이 창조한 이상적인 형태를 가지고 있다고 믿었습니다. 하지만, Darwin은 ‘On the Origin of Species’에서 근본적으로 종이란 본질이 존재하지 않고, 다양한 개체만 존재할 뿐이라고 밝혔습니다. 즉, 각 개체는 환경에 의한 자연선택의 결과물이라는 것입니다. 그러나, Darwin은 감정에 대해서는 본인의 주장을 무시하고, 본질주의에 사로잡혔습니다.

본질주의에 오도된 Darwin 은 그의 말년에 정서적 불안이 곱슬머리를 유발하고, 곤충이 신체 부위를 비비면서 두려움과 분노를 표현한다는 식의 우스꽝스러운 유사 과학적인 주장을 한 바 있습니다.

Darwin의 본질주의는 감정이 중요한 기능을 수행하기 위해 자연 선택적으로 존재한다는 가정으로 감정 AI 시스템의 개발자들이 표정을 통해 감정이 드러난다고 믿도록 이끌었습니다. 하지만 실제로 Darwin의 ‘Expression’에서 그는 얼굴 표정이 자연선택의  산물이라고 하지 않았습니다. 오히려, 그는 미소, 찌푸림, 눈을 크게 뜨는 것 등의 신체적 표현은 ‘목적 없는’ 것이라고 주장했습니다. 그는 ‘Expression’에서 이와 같은 주장을 10번 이상 반복했습니다. 쉽게 말하자면, 만약 어떤 표현이 우리에게 기능적으로(자연선택적으로) 필요가 없다면, 그 표현은 사라졌을 것이지, 본질적으로 계속 존재하지는 않는다는 것입니다.

즉, Darwin의 ‘Expression’은 100년 이상 과학자들에게 잘못 인용된 것입니다. 그 이유는 심리학자 Floyd Allport의 연구에서 답을 찾을 수 있습니다. Allport는 1924년 그의 저서 ‘Social Psychology’에서 “Darwin의 ‘Expression’은 자연선택적 관점에서 모든 개체의 생물학적 기능은 그 이유가 있고, 선조 개체는 후손 개체에게 생물학적으로 진화할 수 있는 기반을 남긴다고 주장한다”고 밝혔습니다. 즉, Floyd Allport는 현재 개체의 생물학적 기능이 반드시 그 이유를 가지고 있고, 본질적으로 계속 존재한다고 Darwin의 자연선택적 진화론을 잘못 해석한 것입니다.

Allport의 주장은 틀렸으나, 이는 다윈의 생각으로 여겨졌고, 과학자들은 얼굴 표정이 감정을 완벽하게 설명한다고 보게 되는 결정적 근거가 되었습니다. 한 문장으로 Allport는 과학 뿐만 아니라 법, 의학, 대중의 과학적 상식, 그리고 감정 AI 시스템까지 감정에 대한 이해를 오도했습니다.

하지만, 최근 Darwin의 올바른 이해는 점차 서구 문화에 전반적으로 자리잡아 가고 있는 것으로 보입니다. ‘On the Origin of Species’에서의 Darwin의 주장, 즉 동물 종의 핵심에 생물학적 본질은 없다는 주장은 개체군적 사고(population thinking)으로 이어졌고, 이는 현재 유전학에 의해 뒷받침 되고 있습니다.

개체군적 사고는 지난 세기 동안 생물학과 감정을 연구하는 분야에 혁신을 불러일으키고 있습니다. 종과 마찬가지로 두려움, 슬픔 또는 기쁨과 같은 감정은 다양한 얼굴 표정으로 나타납니다. 실제 사람들은 실제로 눈을 크게 뜨고 두려움을 느낄 수도 있지만, 두려움에 얼굴을 찌푸리거나, 울거나, 웃을 수도 있고, 일부 문화권에서는 잠이 들 수도 있습니다. 본질이란 존재하지 않는 것입니다. 감정에 따른 얼굴 표정은 그 구성원이 사는 환경과 상황에 밀접하게 연결되어 있습니다.

최근 들어 감정 연구자들이 개체군적 사고를 받아들이기 시작했고, 과거의 본질주의적 생각을 넘어서고 있습니다. 감정 AI를 지지하는 사람들과 이를 만들고 판매하는 회사는 얼굴 표정이 보편적인 특정 감정에 일대일 대응이 되지 않는다는 점을 인정해야합니다. 동일한 감정이 다른 얼굴 표정을 동반할 수 있고, 동일한 얼굴 표정이 다른 감정적 의미를 가질 수 있다는 증거는 많은 연구를 통해 뒷받침 되고 있습니다. Darwin의 주장처럼, 획일성이 아니라, 다양성이 원칙이라는 것입니다.

위는 의견 분석 기사이며 저자가 표현한 주장이 반드시 Scientific American 견해는 아님을 밝힙니다


Do your facial movements broadcast your emotions to other people? If you think the answer is yes, think again. This question is under contentious debate. Some experts maintain that people around the world make specific, recognizable faces that express certain emotions, such as smiling in happiness, scowling in anger and gasping with widened eyes in fear. They point to hundreds of studies that appear to demonstrate that smiles, frowns, and so on are universal facial expressions of emotion. They also often cite Charles Darwin’s 1872 book The Expression of the Emotions in Man and Animals to support the claim that universal expressions evolved by natural selection.

Other scientists point to a mountain of counterevidence showing that facial movements during emotions vary too widely to be universal beacons of emotional meaning. People may smile in hatred when plotting their enemy’s downfall and scowl in delight when they hear a bad pun. In Melanesian culture, a wide-eyed gasping face is a symbol of aggression, not fear. These experts say the alleged universal expressions just represent cultural stereotypes. To be clear, both sides in the debate acknowledge that facial movements vary for a given emotion; the disagreement is about whether there is enough uniformity to detect what someone is feeling.

This debate is not just academic; the outcome has serious consequences. Today you can be turned down for a job because a so-called emotion-reading system watching you on camera applied artificial intelligence to evaluate your facial movements unfavorably during an interview. In a U.S. court of law, a judge or jury may sometimes hand down a harsher sentence, even death, if they think a defendant’s face showed a lack of remorse. Children in preschools across the country are taught to recognize smiles as happiness, scowls as anger and other expressive stereotypes from books, games and posters of disembodied faces. And for children on the autism spectrum, some of whom have difficulty perceiving emotion in others, these teachings do not translate to better communication.

So who is right? The answer involves an unwitting physician, a scientific error and a century-long misinterpretation of Darwin’s writing. Ironically, his own observations offer a powerful resolution that is transforming the modern understanding of emotion.

The assumption of universal facial expressions can be traced back to several sources, most notably a set of photographs by 19th-century French physician Guillaume-Benjamin-Amand Duchenne. In the early days of photography, Duchenne electrically stimulated people’s facial muscles and photographed the contractions.

His photographs inspired Darwin to propose in Expression that certain facial movements were universal signs of emotion. In happiness, Darwin wrote, people smile. In sadness, they frown. The way the story is usually told, Darwin discovered that emotions have innate, biologically based expressions that are made and recognized universally and shared with other animals. That story presents facial movements as a sort of signaling system in which you can look at a person’s face, detect their emotional state and receive important information to keep you—and them—alive and healthy.

Or so it would seem. A preponderance of evidence shows that Darwin was wrong, and his mistake was a doozy. In real life, people express a given emotion with tremendous variability. In anger, for example, people in urban cultures scowl (or make some of the facial movements for a scowl) only about 35 percent of the time, according to meta-analyses of studies measuring facial movement during emotion. Scowls are also not specific to anger because people scowl for other reasons, such as when they are concentrating or when they have gas. The same tremendous variation occurs for every emotion studied—and for every other measure that purportedly tells us about someone’s emotional state, whether it’s their physiology, voice or brain activity.

Emotion AI systems, therefore, do not detect emotions. They detect physical signals, such as facial muscle movements, not the psychological meaning of those signals. The conflation of movement and meaning is deeply embedded in Western culture and in science. An example is a recent high-profile study that applied machine learning to more than six million internet videos of faces. The human raters, who trained the AI system, were asked to label facial movements in the videos, but the only labels they were given to use were emotion words, such as “angry,” rather than physical descriptions, such as “scowling.” Moreover there was no objective way to confirm what, if anything, the anonymous people in the videos were feeling in those moments.

There’s also considerable evidence that facial movements are just one signal of many in a much larger array of contextual information that our brain takes in. Show people a grimacing face in isolation, and they may perceive pain or frustration. But show the identical face on a runner crossing the finish line of a race, and the same grimace conveys triumph. The face is often a weaker signal of a person’s internal state than other signals in the array.

Darwin’s Expression suggests that instances of a particular emotion, such as anger, share a distinct, immutable, physical cause or state—an essence—that makes the instances similar even if they have superficial differences. Scientists have proposed a variety of essences, some of which are easily seen, such as facial movements, and others, such as complex, intertwined patterns of heart rate, breathing and body temperature, that are observed only with specialized instruments. This belief in essences, called essentialism, is compellingly intuitive. It’s also pernicious because it is virtually impossible to prove that an essence doesn’t exist. People who believe in essences but fail to observe them despite repeated attempts often continue to believe in them anyway. Researchers, in particular, tend to justify their belief by suggesting that tools and methods are not yet sufficient to locate the essences they seek.

A solution to this conundrum can be found in Darwin’s more famous book On the Origin of Species, written 13 years before Expression. Ironically, it is celebrated for helping biology “escape the paralyzing grip of essentialism,” according to heralded biologist Ernst Mayr. Before Origin was published, scholars believed that each biological species had an ideal form, created by God, with defining properties—essences—that distinguished it from all other species. Think of this as the “dog show” version of biology. In a dog show, each competitor is judged against a hypothetical ideal dog. Deviation from the ideal is considered error. Darwin’s Origin proposed, radically, that a species is a vast population of varied individuals with no essence at its core. The ideal dog doesn’t exist—it is a statistical summary of many diverse dogs. Variation is not error; it is a necessary ingredient for natural selection by the environment. When it came to emotions, however, Darwin fell prey to essentialism, ignoring his most important discovery.

The power of essentialism led Darwin to some beautifully ridiculous ideas about emotion, including that emotional imbalance can cause frizzy hair and that insects express fear and anger by frantically rubbing their body parts together.

Essentialism likewise appears to lure designers of emotion AI systems to follow Darwin down this comfortable path, with its assumption that emotions evolved via natural selection to serve important functions. But if you actually read Expression, you’ll find that Darwin barely mentioned natural selection. He also did not write that facial expressions are functional products of evolution. In fact, he wrote the opposite: that smiles, frowns, eye widening and other physical expressions were “purposeless”—vestigial movements that no longer serve a function. He made this statement more than 10 times in Expression. For Darwin, emotional expressions were compelling evidence that humans are animals and that we’ve evolved. By his logic, if we share expressions with other animals, but the expressions are functionally useless for us, they must have come from a long-gone, common ancestor for whom the expressions were useful.

Expression has been cited incorrectly for more than 100 years. How did this happen? I discovered the answer lurking in the work of an early-20th-century psychologist, Floyd Allport. In his 1924 book Social Psychology, Allport made a sweeping inference from Darwin’s writing to say that expressions begin as vestigial in newborns but quickly assume useful social functions. He wrote, “Instead of the biologically useful reaction being present in the ancestor and the expressive vestige in the descendant, we regard both these functions as present in the descendant, the former serving as a basis from which the latter develops.”

Allport’s idea, though incorrect, was attributed back to Darwin and eagerly adopted by like-minded scientists. They could now write about facial expressions as universal and claim to be the heirs of the unassailable Charles Darwin. With a single sentence, Allport misdirected the Western understanding of emotions, not only in science but in law, medicine, the eyes of the public and now emotion AI systems.

Nevertheless, this scientific tale has a happy ending because there is a name for the kind of variation we observe in real-life instances of emotion. It’s the same variation that Darwin himself observed in animal species. In Origin, Darwin described an animal species as a collection of varied individuals with no biological essence at its core. This key observation became known more generally as population thinking, and it’s supported by the modern study of genetics.

Population thinking has been revolutionizing biology for the past century, and it is now revolutionizing the science of emotion. Like a species, a given emotion such as fear, grief or elation is a vast population of varied instances. People may indeed widen their eyes and gasp in fear, but they may also scowl in fear, cry in fear, laugh in the face of fear and, in some cultures, even fall asleep in fear. There is no essence. Variation is the norm, and it is intimately linked to a person’s physiology and situation, just as variation in a species is linked to the environment its members live in.

An increasing number of emotion researchers are taking population thinking more seriously and moving beyond the essentialist ideas of the past. It is time for emotion AI proponents and the companies that make and market these products to cut the hype and acknowledge that facial muscle movements do not map universally to specific emotions. The evidence is clear that the same emotion can accompany different facial movements and that the same facial movements can have different (or no) emotional meaning. Variety, not uniformity, is the rule.

Darwin’s Expression is best viewed as a historical text, not a definitive scientific guide. That leads to a deeper lesson here: Science is not truth by authority. Science is the quantification of doubt by repeated observation in varied contexts. Even the most exceptional scientists can be wrong. Fortunately, mistakes are part of the scientific process. They are opportunities for discovery.

This is an opinion and analysis article, and the views expressed by the author or authors are not necessarily those of Scientific American.

Similar Posts

로그아웃

파비리서치 로그아웃 하시겠습니까?

로그인

파비리서치의 많은 정보를 확인하기 위해서는 로그인이 필요합니다!