[해외DS] 지속가능한 AI를 위해서는 낙관론도, 비관론도 필요하다

메릴랜드대 교수 벤 슈나이더만, 인공 지능 바라보는 두 가지 견해 조화 이루어야 한다 주장 유토피아적 환상 만들어내며 기술 미래 추측하는 ‘푸른 하늘 비전가’와 인공 지능 문제 파헤치는 ‘진흙탕 실용주의자’ 푸른 하늘 비전가, 진흙탕 실용주의자 의견 받아들여야 실현 가능한 제품과 서비스 만들 수 있다

6
pabii research

[해외DS]는 해외 유수의 데이터 사이언스 전문지들에서 전하는 업계 전문가들의 의견을 담았습니다. 저희 데이터 사이언스 경영 연구소(MDSA R&D)에서 영어 원문 공개 조건으로 콘텐츠 제휴가 진행 중입니다.

사진=romanwhite/Getty Images

해당 기사는 미국 메릴랜드 대학교의 컴퓨터공학부 교수이자 미국 국립 과학 아카데미(National Academy of Engineering) 회원인 벤 슈나이더만(Ben Shneiderman)의 개인적인 견해임을 밝힙니다.

지난 20일 사이언티픽 아메리칸에는 미국 메릴랜드 대학교의 컴퓨터공학부 교수이자 미국 국립 과학 아카데미(National Academy of Engineering) 회원인 벤 슈나이더만(Ben Shneiderman)의 기고문이 올라왔습니다. 슈나이더만 교수는 인공 지능을 바라보는 두 가지 견해를 설명하며 이 둘이 조화를 이루어야 한다고 주장했습니다.

[이어지는 내용은 슈나이더만 교수의 시각에서 작성됐습니다.]

인공 지능 사상가는 두 집단으로 나눌 수 있는 것 같습니다. 저는 이들을 각각 ‘푸른 하늘 비전가(blue-sky visionaries)’, ‘진흙탕 실용주의자(muddy-boots pragmatists)’라고 부릅니다.

푸른 하늘 비전가는 어떤 흥분을 이끌어내기 위해 유토피아적인 환상을 만들어내면서 기술의 미래 가능성을 추측합니다. 이들의 ‘푸른 하늘 아이디어’는 설득력이 있긴 하지만 종종 비현실적인 비전이나 발생할 수 있고, 발생하게 되는 윤리적 문제 때문에 흐지부지됩니다.

이와 반대로 진흙탕 실용주의자는 문제와 해결책에 주목합니다. 널리 사용되는 AI가 들어간 시스템이 유발할 수 있는 피해를 줄이겠다는 겁니다. 이들은 특히 편향되고 결함이 있는 시스템을 수정하는 데 집중합니다. 종종 무고한 사람을 범죄자로 지목하는 실수를 하거나 사생활을 침해하는 안면 인식 시스템 같은 것들 말입니다. 또한 실용주의자들은 AI가 저지를 수 있는 치명적인 의학적 실수를 줄이고, 자율주행차가 안전한 자동차가 되도록 조종해야 한다고 이야기합니다. 모기지론, 대학 입학, 구직 혹은 가석방 승인 등 중요한 분야의 AI 기반 결정(AI-based decisions)을 개선하는 것 역시 이들의 목표에 해당합니다.

저는 오랫동안 광범위하게 구현된 혁신적인 애플리케이션을 설계한 경력이 있는 컴퓨터 과학 교수로서 진흙탕 실용주의자들의 ‘사려 깊은’ 메시지를 수용하는 일이 푸른 하늘 비전가들에게 도움이 될 것이라고 생각합니다. 즉 두 집단이 쌓은 업적을 융합하면 성공적인 차세대 기술로 이어질, 유익한 결과를 얻을 확률이 더 클 것이라는 뜻입니다.

푸른 하늘 비전가의 미래 지향적 사고는 대중의 경외심을 불러일으켜 인공 지능을 개발하는 기업이 많은 투자금을 모으는 데 도움이 되지만, 진흙탕 실용주의자들은 일부 AI 응용 프로그램에 개인 정보를 위협하고 잘못된 정보를 유포하며 결정적으로는 성・인종 차별적으로 혹은 윤리적으로 의심스러운 요소가 존재한다는 점을 상기시킵니다. 기계가 우리 미래의 일부라는 사실은 부정할 수 없습니다만, 과연 미래 세대 모두가 기계의 혜택을 동등하게 누릴 수 있을까요? 저는 ‘진흙탕 진영’의 신중함과 실용성이 점점 우리의 일상을 지배하는 알고리즘의 개발 단계에서 다양성과 평등을 보장하고 장기적으로는 인류에게 도움이 되리라 생각합니다. 푸른 하늘 비전가가 진흙탕 실용주의자의 관심사를 AI 디자인에 통합한다면 인간의 가치, 권리 그리고 존엄성을 높일 확률이 더 높은 미래 기술을 개발할 수 있습니다.

푸른 하늘 비전은 AI 개발 초기부터 시작됐습니다. 기술을 개척하고 기술로 인한 불가피한 사회 변화를 예언한 작가들이 그 주인공이었죠. 보통 AI의 “아버지”라 하면 MIT의 마빈 민스키(Marvin Minsky)와 존 매카시(John McCarthy), 카네기 멜런 대학교의 앨런 뉴엘(Allen Newell), 허버트 사이먼(Herb Simon)이 언급됩니다. 이들은 1956년에 열린 다트머스 회의(Dartmouth Conference, 1956년 다트머스 대학 소속이던 존 매카시가 개최한 학술회의로, 인공 지능 분야를 확립한 학술회의로 평가됨)를 비롯한 여러 회의에 참여해 인공 지능 열풍을 만드는 데 기여했습니다. “기계는 20년 안에 사람이 할 수 있는 모든 일을 할 수 있게 될 것”이라는, 사이먼 교수가 1965년에 한 발언도 이러한 맥락에서 나온 것입니다.

다른 많은 사람들 역시 AI 분야에 기여했습니다. 2018년에 튜링상(Turing Award, 미국의 컴퓨터 과학 학회 연합 ACM이 컴퓨터 과학 분야에 이바지한 인물에게 주는 상)을 받은 제프리 힌턴(Geoffrey Hinton), 요슈아 벤지오(Yoshua Bengio), 얀 르쿤(Yann LeCun) 같은 사람들 말입니다. 이들은 딥 러닝 알고리즘 분야에 지대한 공헌을 했습니다. 하지만 AI의 중요성과 필연성을 꾸준히 강조하는 과정에서 문제를 일으키기도 했죠. 지난 2016년 힌턴 교수가 “지금 당장 방사선 전문의 교육을 중단해야 한다”며 “딥 러닝이 5년 안에 방사선 전문의를 능가할 것이라는 사실은 완전히 명백하다”라는 발언으로 이슈화된 일 말입니다. 참고로 여기에 대해서는 보다 인간 중심적인 견해, 즉 딥 러닝 알고리즘은 유방조영상이나 혈액 검사 같은, 방사선 전문의와 기타 임상의가 더 정확한 진단을 내리고 더 적절한 치료 계획을 제시할 수 있도록 돕는 또 다른 도구가 될 것이라는 견해도 존재합니다.

한편 로봇이 사람을 대체해 광범위한 실업을 불러일으킨다는 견해는 옥스퍼드 대학이 지난 2013년에 발간한 보고서 때문에 기정 사실화된 바 있습니다. 당시 이 보고서에는 전체 일자리의 47%가 자동화될 수 있다는 내용이 담겼습니다. 미국의 미래학자이자 작가인 마틴 포드(Martin Ford)는 이 견해를 받아들여 자신의 저서 ‘로봇의 부상(Rise of the Robots, 2015)’을 통해 ‘저숙련 및 고숙련 직업이 완전히 자동화되어 남은 일자리가 거의 없기 때문에 정부가 보편적인 기본 소득을 제공해야 한다’는 골치 아픈 주장을 내놓기도 했습니다. 하지만 현실에서 잘 설계된 자동화는 생산성을 높여 가격을 낮추고 수요를 늘리며 많은 이들에게 혜택을 가져다줍니다. 이러한 변화는 새로운 일자리를 활발하게 창출하는 병행 현상(parallel phenomenon) 역시 불러일으켰고, 현재 미국과 일부 다른 국가에서 관찰되는 높은 수준의 고용률로 이어졌습니다.

물론 교훈적인 이야기라든지 다른 시각을 제시한 저자도 있습니다. 1976년 ‘컴퓨터의 힘과 인간의 이성(Computer Power and Human Reason)’이라는 제목의 책을 펴낸 MIT 교수 조셉 와이젠바움(Joseph Weizenbaum)을 예로 들 수 있습니다만, 이런 사람은 예외적인 인물이었습니다.

진흙탕 실용주의자들은 ‘사려 깊은 AI 비평’이라는 새로운 물결을 불러왔습니다. 이들 덕에 (AI를 주제로 하는) 토론은 ‘푸른 하늘 낙관주의’에서 인간의 존엄성과 공정성 그리고 민주주의에 대한 (AI의) 위협을 명확하게 짚어내는 방향으로 전환됐습니다. 여기에 기여한 이니셔티브로는 Op-Ed 기사(외부 인사가 신문에 기고하는 글, 보통 신문의 사설면(editorial page) 반대편에 실리기 때문에 op-ed(opposite the editorial page)라는 이름이 붙었음)와 2016년 열린 백악관 심포지엄(오바마 행정부가 인공 지능이 가져다주는 기회와 고려 사항, 과제를 담은 보고서를 발표함)을 들 수 있습니다.

한편 해당 주제는 다양한 저서에서도 다루어졌습니다. 미국의 수학자, 데이터 과학자 겸 작가인 캐시 오닐(Cathy O’Neil)은 자신의 저서 ‘대량살상수학무기(Weapons of Math Destruction, 2016)’를 통해 더 많은 이들이 이 주제에 관심을 갖게 만들었습니다. 오닐은 가석방, 모기지, 구직 신청 결정을 위해 AI를 대규모로 적용하는 경우, AI 알고리즘이 불투명하다면 얼마나 해로운 결과가 나오는지에 주목했으며 강력한 사례를 들어 인간 중심적 사고를 지지했습니다.

프린스턴 대학교의 아프리카계 미국인학과 교수이자 사회학자인 루하 벤자민(Ruha Benjamin) 역시 ‘기술 이후의 인종: 새로운 짐 코드를 위한 폐지론자의 도구(Race After Technology: Abolitionist Tools for the New Jim Code)’라는 제목의 책을 출간, 경제적 기회를 늘리고 인종적 편견을 줄이려면 알고리즘을 어떻게 바꿔야 하는지를 설명했습니다.

하버드 대학교에서 교수직을 맡고 있는 사회심리학자 쇼샤나 주보프(Shoshanna Zuboff)는 2019년에 펴낸 책 ‘감시 자본주의 시대(The Age of Surveillance Capitalism)’에서 구글의 초기 모토인 “Don’t be evil(악이 되지 말자)”이 “이러한 프로세스와 그 의미를 모호하게 만들기 위한” 계산된 노력으로 변화하는 과정을 다루었습니다. 구체적으로 설명하자면 주보프 교수는 우리가 구글과 같은 대규모 IT 기업, 즉 ‘IT 자본가’들이 대중이 온라인에 남긴 흔적을 이용해 대중의 취향에 맞는 광고나 서비스를 제공하는 ‘감시 자본주의 체제’에 살고 있음을 경고했고, 비즈니스 모델과 민주적 감독 및 개인 정보 보호 영역을 바꿔야 한다는 해결책을 제시했습니다.

지난해에는 서던 캘리포니아 대학교 교수이자 AI의 사회적인 영향력을 연구하는 학자인 케이트 크로포드(Kate Crawford)가 ‘AI 지도(Atlas of AI)’라는 책을 통해 엄청난 수준의 ‘진흙탕 분석’을 내놓기도 했습니다. 이 책에서 크로포드 교수는 직업, 환경, 인간 관계와 민주주의에 대한 AI의 착취적이고 파괴적인 힘에 주목했습니다. 참고로 크로포드 교수는 미국 국립 과학 아카데미에서 개인 정보 보호를 위한 정부의 규제와 개인의 노력을 장려하는 강의를 한 바 있는데, 당시 AI 연구원과 AI 개발자가 할 수 있는 건설적인 조치를 설명하면서 책에서 다룬 것보다 좀더 개선된 의견을 제시했습니다.

진흙탕 실용주의자들의 활동은 영리한 AI 디자인을 제공하는 식으로 AI 연구에 긍정적인 영향을 주었다는 평가를 받고 있습니다. 지난 2010년 10월 미국의 컴퓨터 과학자 및 통계학자 신시아 루딘(Cynthia Rudin)은 전미인공지능학회(AAAI; Association for the Advancement of Artificial Intelligence)가 인류의 이익을 위한 인공 지능 부문에 주는 상을 받았습니다. 상금은 무려 100만 달러였습니다. 사람들은 왜 자신의 가석방/모기지론 혹은 구직 신청이 블랙 박스 알고리즘에 의해 거절됐는지 이해하지 못하고 있었는데, 루딘은 이렇게 당혹스러울 정도로 복잡한, 불투명한 블랙 박스 알고리즘(고위험 형사 사법 결정 등에 이용되던 알고리즘) 대신 쓸 수 있는 해석 가능한 형태의 AI 모델을 만들었습니다.

진흙탕 실용주의자들은 대부분 여성이지만 인도적 감독의 필요성을 부르짖는 남성이 없는 건 아닙니다. AI 기술의 선구자인 재런 러니어(Jaron Lanier)는 소셜 미디어의 피해를 식별하고 사용자가 소셜 미디어 사용에 대한 더 많은 통제권을 가져야 한다는 내용의 ‘소셜 미디어 계정 삭제에 대한 10가지 주장’에서 진흙탕 실용주의자들과 같은 의견을 제시했습니다. 미국의 법학자 프랭크 파스퀘일(Frank Pasquale)은 자신의 저서 ‘로보틱스에 대한 새로운 법(New Laws of Robotics)’에서 AI 개발자가 인간의 전문 지식을 소중히 여기고, 기술 군비 경쟁을 피하며 자신들이 만든 기술에 대한 책임을 져야 하는 이유를 설명했습니다. 하지만 인간 중심 설계를 통해 인간 통제를 보장하기 위해서는 국가의 정책, 비즈니스 관행, 연구 의제와 교육 커리큘럼이 상당한 정도로 변화해야 합니다.

여성, 논바이너리, 장애인, 유색인종을 포함한 진흙탕 실용주의자들은 푸른 하늘 비전가들의 꿈이 사람들에게 혜택을 주고 환경을 보존하는 실현 가능한 제품과 서비스로 이어질 수 있도록 하는 중요한 메시지를 가지고 있습니다.


Artificial intelligence thinkers seem to emerge from two communities. One is what I call blue-sky visionaries who speculate about the future possibilities of the technology, invoking utopian fantasies to generate excitement. Blue-sky ideas are compelling but are often clouded over by unrealistic visions and the ethical challenges of what can and should be built.

In contrast, what I call muddy-boots pragmatists are problem- and solution-focused. They want to reduce the harms that widely used AI-infused systems can create. They focus on fixing biased and flawed systems, such as in facial recognition systems that often mistakenly identify people as criminals or violate privacy. The pragmatists want to reduce deadly medical mistakes that AI can make, and steer self-driving cars to be safe-driving cars. Their goal is also to improve AI-based decisions about mortgage loans, college admissions, job hiring and parole granting.

As a computer science professor with a long history of designing innovative applications that have been widely implemented, I believe that the blue-sky visionaries would benefit by taking the thoughtful messages of the muddy-boots realists. Combining the work of both camps is more likely to produce the beneficial outcomes that will lead to successful next-generation technologies.

While the futuristic thinking of the blue-sky speculators sparks our awe and earns much of the funding, muddy-boots thinking reminds us that some AI applications threaten privacy, spread misinformation and are decidedly racist, sexist and otherwise ethically dubious. Machines are undeniably part of our future, but will they serve all future humans equally? I think the caution and practicality of the muddy-boots camp will benefit humanity in the short and long run by ensuring diversity and equality in the development of the algorithms that increasingly run our day-to-day lives. If blue-sky thinkers integrate the concerns of muddy-boots realists into their designs, they can create future technologies that are more likely to advance human values, rights and dignity.

Blue-sky thinking started early in the development of AI. The literature was dominated by authors who pioneered the technology and heralded its inevitable transformation of society. The “fathers” of AI are usually considered to be Marvin Minsky and John McCarthy from MIT and Allen Newell and Herb Simon from Carnegie Mellon University. They gathered at meetings, such as the 1956 Dartmouth Conference, generating enthusiasm exemplified by Simon’s 1965 prediction that “machines will be capable, within 20 years, of doing any work a man can do.”

There have been many other contributors to AI, including the three Turing Award winners in 2018: Geoffrey Hinton, Yoshua Bengio and Yann LeCun. Their work on deep-learning algorithms was an important contribution, but their continued celebrations of AI’s importance and inevitability included Hinton’s troubling 2016 quote that “people should stop training radiologists now. It’s just completely obvious that within five years deep learning is going to do better than radiologists.” A more human-centered view is that deep-learning algorithms will become another tool, like mammograms and blood tests, that empower radiologists and other clinicians to make more accurate diagnoses and offer more appropriate treatment plans.

The theme of robots replacing people, thereby creating widespread unemployment, was legitimized by a 2013 report from Oxford University, which claimed that 47 percent of all jobs could be automated. Futurist Martin Ford’s 2015 book Rise of the Robots latched on to this idea, painting a troubling picture of low- and high-skilled jobs becoming so completely automated that governments would have to supply a universal basic income because there would be few jobs left. The reality is that well-designed automation increases productivity, which lowers prices, raises demand and brings benefits to many people. These changes trigger a parallel phenomenon of vigorous creation of new jobs, which has helped lead to the current high levels of employment in the U.S. and some other nations.

Yes, there were authors who offered cautionary tales and a different vision, such as MIT professor Joseph Weizenbaum in his 1976 book Computer Power and Human Reason, but these were exceptions.

The muddy-boots pragmatists started a new wave of thoughtful AI critiques. They shifted the discussion from blue-sky optimism to clearly identifying the threats to human dignity, fairness and democracy. Op-Ed pieces and a 2016 White House symposium were helpful initiatives, and mathematician Cathy O’Neil’s 2016 book Weapons of Math Destruction broadened the audience. She focused on how opaque AI algorithms could be harmful when applied at scale to decide on parole, mortgage and job applications. O’Neil’s powerful examples promoted human-centered thinking.

Other books, such as Ruha Benjamin’s Race After Technology: Abolitionist Tools for the New Jim Code, followed on how algorithms needed to be changed to increase economic opportunities and decrease racial bias.

Social psychologist Shoshanna Zuboff’s 2019 book The Age of Surveillance Capitalism showed the change from Google’s early motto of “Don’t be evil” to calculated efforts “to obfuscate these processes and their implications.” Zuboff’s solution was to call for a change in business models, democratic oversight and privacy sanctuaries. Scholar Kate Crawford delivered another devastating muddy-boots analysis in her 2021 book Atlas of AI, which focused on the extractive and destructive power of AI on jobs, the environment, human relationships and democracy. She refined her message in a captivating lecture for the National Academy of Engineering, describing constructive actions that AI researchers and implementers could take, while encouraging government regulation and individual efforts to protect privacy.

Muddy-boots activists are gaining recognition for their positive research contributions, which offer clever designs that benefit people. In October 2021, Cynthia Rudin received the $1 million prize for Artificial Intelligence for the Benefit of Humanity from the Association for the Advancement of Artificial Intelligence. Her work on interpretable forms of AI was a response to the bewildering complexity of opaque black box algorithms, which made it hard for people to understand why they were rejected for paroles, mortgages or jobs.

Many of the muddy-boots thinkers are women, but men have also spoken up about the need for humane oversight. Technology pioneer Jaron Lanier also raises concerns in his Ten Arguments for Deleting Your Social Media Accounts Right Now, which identifies the harms from social media and suggests users take more control over their use of it. Legal scholar Frank Pasquale’s New Laws of Robotics explains why AI developers should value human expertise, avoid technological arms races and take responsibility for the technologies they create. However, ensuring human control by way of human-centered designs will take substantial changes in national policies, business practices, research agendas and educational curricula.

The diverse workers of this camp—including women, nonbinary people, people with disabilities and people of color—have important messages to ensure that the blue-sky dreams can be channeled into realizable products and services that benefit people and preserve the environment.

Similar Posts