[해외 DS] 생성 AI에 반대해야 하는 이유

ChatGPT로부터 촉발된 GAI 열풍.. 무분별한 사용 맞는지 의문 AI글쓰기, 감성지능 부재 및 비판적 사고 저해 등 단점 존재해 전문가들, 인공지능 기술 활용에 반드시 윤리적 고민 포함되어야 한다고 조언

2
pabii research

[해외DS]는 해외 유수의 데이터 사이언스 전문지들에서 전하는 업계 전문가들의 의견을 담았습니다. 저희 데이터 사이언스 경영 연구소 (MDSA R&D)에서 영어 원문 공개 조건으로 콘텐츠 제휴가 진행 중입니다.

사진=Rodin’s Le Penseur의 ‘The Thinker’/Getty Images

간단한 서류 작업부터 예술창작까지, Generative AI(GAI)의 가능성은 무한해지고 있습니다. 특히, GAI는 유저의 개인화된 요구사항이 담긴 글을 단 몇 초 만에 만들어낼 수 있습니다. 이 편리함 때문에 많은 사람들이 GAI에 의존하여 글을 써내고 있습니다.

그러나, GAI를 사용하는 것은 인간으로서 포유류, 기계 또는 AI보다 우리가 더 가치 있다는 것을 포기하는 것과 다름없습니다.

우리는 직접 글을 써야합니다. 인간은 최고의 언어 구사력과 감성 지능이 존재합니다. 이는 AI가 가지지 못한, 우리만의 능력이기도 합니다.

AI가 우리 대신 글을 써줄 수 있는가?

ChatGPT는 OpenAI가 개발한 대규모 언어모델(LLM)입니다. ChatGPT는 유저 친화적인 자연어 처리 인터페이스를 통해 유저들로 하여금 쉽게 GAI로부터 텍스트를 쉽게 생성하도록 도와 전 세계 사용자들에게 큰 반향을 이끌고 있습니다.

GAI가 가장 일반적으로 사용되는 사례는 텍스트 생성분야입니다. 지난 3월 3일 발표된 GAI 보고서에서 Omdia는  텍스트 생성을 통한 몇 가지 장점(시간 단축, 효율성)이 존재하지만, 분명한 단점들(부정확함, 편향, 창의적 문장 구성의 부재, 맥락 고려 불가)도 존재한다고 존재한다고 밝혔습니다.

그러나 이 단점이 아직 시장 성장에 얼마나 중요한 요소인지 명확하게 드러나지 않았기 때문에 아직까지는 텍스트 생성의 열풍은 계속되고 있습니다.

이미 많은 스타트업들이 ChatGPT를 산업의 형태를 송두리째 바꿔놓을 수 있는 ‘게임체인저’로 인식하고 있습니다. 최근 기준으로, 영업 또는 마케팅용으로 텍스트 생성을 이용하는 회사가 31개, 글쓰기 보조로 텍스트 생성을 제공하는 회사가 30개로 보고되었습니다. 여기에는 Microsoft, Google, Salesforce 및 Adobe와 같은 대형 시장 참여자는 포함되지 않았습니다.

그러나, 텍스트 생성 열풍의 후폭풍은 조금씩 수면 위로 올라오고 있습니다. 예컨대 지난 11월 ChatGPT가 출시되면서 대학과 중등학교에서 ChatGPT 표절 사태가 연달아 발생했습니다. 이미 학생들은 AI가 작성해주는 논문과 보고서에 익숙해졌기 때문입니다.

생성 AI 이용해 글을 쓰면 안되는 이유

감성 지능의 부재

AI가 우리를 위해 글을 쓰도록 해서는 안되는 가장 큰 이유인 AI의 감성 지능 결여에 대해 더 자세히 살펴보겠습니다.

만약 개인적인 편지를 작성하는 경우, 인공지능은 수신자와의 개인적인 세부맥락까지 파악할 수는 없습니다. 또한 작성자와 대상 청중 간의 지속적인 상호작용을 위해 필요한 맥락 또한 글에 반영할 수 없습니다.

기업들은 몇 년 동안 이러한 인공지능의 감성 지능의 결여 문제를 극복하기 위해 노력해왔으나, 별 다른 성과를 내고 있지 못하고 있습니다.

우수한 마케팅 문구는 미묘하고 창의적이며, 시공간 및 풍자를 활용해서 사람들의 호기심을 자극합니다. 그러나, 인공지능은 이를 이해하지 못합니다. 자연어 이해(NLU)는 여전히 GAI가 극복해야할 난관이며, 많은 전문가들은 이에 회의적입니다.

비판적 사고 함양을 가로막는다

On Writing Well: The Classic Guide to Writing Nonfiction의 저자 William Zinsser는 1976년에 유명한 말을 남겼습니다. “글쓰기란 종이에 누워 생각하는 것과 같다.”

또한 2020년, 비영리단체 The Foundation for Critical Thinking은 “작문 연습은 비판적 사고를 길러 사람들이 자신의 생각을 개선하고, 나아가 독립적이고 주체적인 삶을 영위할 수 있게 돕는다”라고 밝힌 바 있습니다.

글쓰기는 비판적 사고를 배양하는데 필수적입니다. 본질적으로 적게 글을 쓴다면, 그만큼 덜 주체적으로 사고하게 되는 것입니다.

비판적 사고를 위한 글쓰기의 중요성은 이미 수 차례 연구를 통해 밝혀진 바 있습니다.

아래는 2007년에 National Library of Medicine과 National Center for Biotechnology Information에 발표된 ‘Learning to Improve: Using Writing to Improve Critical Thinking Performance in General Education Biology’라는 연구 논문의 초록에서 발췌한 내용입니다.

현재 정치권은 미국 대학 졸업자들이 문제를 적절하게 해결하고 비판적으로 생각하지 못하는 점에 대한 우려의 목소리를 높이고 있다. 일련의 인지 능력으로서 비판적 사고 능력은 궁극적으로 이러한 문제를 해결할 있는 실질적인 학업적, 직업적 이점을 학생들에게 제공한다. 학습 방법으로서 글쓰기는 오랫동안 비판적 사고를 향상시키는 방법으로 인식되어 왔다.

이번 연구에서 연구원들은 글쓰기 훈련을 받은 학생과 일반 교육 생물학 과정에서 일반적인 퀴즈 기반 수업을 수강한 학생들의 비판적 사고 능력을 비교한 결과, 글쓰기 훈련을 받은 집단은 비판적 사고 능력이 크게 향상된 반면 훈련을 받지 않은 집단은 그렇지 않은 것으로 나타났다. 구체적으로, 분석 추론 능력은 글쓰기 훈련을 받은 집단에서 크게 증가했지만, 반대 집단에서는 그렇지 않았다.

위 연구를 염두에 둔다면, GAI로 인해 비판적 사고를 포기해서는 안된다는 결론에 도달하게 됩니다. AI 시대에 가치 있는 핵심 인재로 거듭나기 위해서는 차별화된 능력을 가져야만 하고, 비판적 사고는 이를 위한 첫 번째 필수 요건입니다.

GAI  기반 텍스트 생성이 필요한 분야

한편, GAI 기반의 텍스트 생성이 의미를 가지는 분야는 존재합니다. 예컨대, 재무 보고서나, 제약 연구용 양식, 헬스케어 분야의 관리 문서 등 특정 분야의 복잡한 서류의 초안을 만들어내는 작업에서는 GAI의 텍스트 생성이 분명 엣지를 가지는 영역입니다.

많은 회사가 2015년 초부터 인공지능의 자연어 처리 기술을 통해 위의 해당 영역들을 자동화하고자 노력했으나 대부분이 제한적인 성능을 보여줬고, GAI만이 빛을 발할 수 있었습니다.

따라서, GAI로 얻을 수 있는 이점과 단점을 고려하여 사용하는 것이 중요합니다. 이와 관련하여 AI 윤리학자들은 인공지능 기술을 활용할 때 사용자는 ‘AI를 사용할 수 있는가?’ 가 아닌, ‘AI를 반드시 사용해야하는가?’에 대해 고민해야한다고 조언합니다.


Generative AI (GAI) dangles an alluring idea that it will take care of a lot of your writing needs.

This manifesto is a warning to all humans — do not abandon the art, skill and science of writing.

Don’t do it.

If you do, you are ceding a key element of what makes you different and more valuable than any mammal, machine or AI.

You should write. There are restricted lanes where it makes sense to let AI do the writing, but you should write as much as possible because you are a better writer and communicator than AI. All verbal communication (speaking, writing) requires supreme command of language and emotional intelligence. These are abilities you have that AI does not.

Further, you should write as much as possible because writing is key to critical thinking. Critical thinking is non-linear thinking, and work that requires non-linear thinking is pretty much the only type of work you can do that AI cannot.

AI will do your writing?

The headlines are filled with jaw-dropping stories about the wonders of ChatGPT, a superbly genius invention by OpenAI, who saw the opportunity to equip one of the biggest large language models (LLM) in the world with an easy-to-use, natural language interface as a way to unlock the power of these models to create GAI outputs.

One of the most talked about use cases for GAI is text generation. In our seminal GAI report published on March 3, Omdia described text generation as follows:

사진=Omdia

As you can see, the text generation use case lists some pros, but there are certainly some significant cons to it as well — not that those cons have slowed the text generation stampede just yet. (It is early days. The market will decide how important those cons are to the market growth of text generation.)

There are already lots of start-ups and specialists chasing the text-generation business. In our most recent count, there were 31 companies offering text generation for sales or marketing uses and another 30 companies that could be described as writing assistants. That does not count the bigger players such as Microsoft, Google, Salesforce, and Adobe offering text generation in these areas.

So it would seem that a lot of people in the business world are interested in offloading the work of written communications to … someone else? A disembodied black box?

It gets worse. When ChatGPT dropped last November, universities and secondary schools were overrun with bouts of ChatGPT plagiarism as students eagerly rushed to have AI write their papers and reports. I guess there are a lot of people who not only dislike writing, they dislike it so much they are willing to cheat to avoid doing it.

The case against using AI to write

Lack of emotional intelligence

Let us expand on one of the big reasons why letting AI write for you might not work out so well: AI’s lack of emotional intelligence.

If you are writing personal correspondence, how will the AI know the details of your personal history with any recipient? How personalized do you think AI can get outside of writing for personas? What about the context that is needed for ongoing interactions between you and your audience?

Companies have been working hard to fill in that type of context using AI for several years with a bit of success, and GAI does not necessarily accelerate that process.

Many marketing messages are superbly nuanced and creative, leveraging elements of time, space, and my favorite sentiment — sarcasm. Natural language understanding (NLU) has been the code AI has yet to crack successfully. I am skeptical (as are most natural language AI experts) that AI ever will. Humans inherently understand nuance, sentiment, sarcasm, and tone; AI does not.

Erodes critical thinking

“Writing is thinking on paper.” — William Zinsser, author of On Writing Well: The Classic Guide to Writing Nonfiction, 1976

“Writing practice builds critical thinking, which empowers people to take charge of their own minds so they can take charge of their own lives … and improve them, bringing them under their self-command and direction.” — The Foundation for Critical Thinking, 2020

Perhaps the more important reason to reign in AI writing is because writing is so important to critical thinking. In essence, the less you write, the less critical you become.

Try a web search of ‘why writing is critical to critical thinking’ and you will discover that the volume of research papers and articles on the subject is substantial.

Consider an excerpt from the abstract of a research paper published in 2007 in the National Library of Medicine and the National Center for Biotechnology Information called ‘Learning to Improve: Using Writing to Increase Critical Thinking Performance in General Education Biology.’

Increasingly, national stakeholders express concern that U.S. college graduates cannot adequately solve problems and think critically. As a set of cognitive abilities, critical thinking skills provide students with tangible academic, personal and professional benefits that may ultimately address these concerns. As an instructional method, writing has long been perceived as a way to improve critical thinking.

In the current study, the researchers compared the critical thinking performance of students who experienced a laboratory writing treatment with those who experienced traditional quiz-based laboratory in a general education biology course. The effects of writing were determined within the context of multiple covariables.

Results indicated that the writing group significantly improved critical thinking skills whereas the non-writing group did not. Specifically, analysis and inference skills increased significantly in the writing group but not the non-writing group. (emphasis added)

Experienced writers understand that writing stimulates thinking, whereas people who do not write so much do not see it that way. In a blog post from Purdue University on academic success and writing, the idea of writing to think comes to life:

Say the word ‘writing’ and most people think of a completed publication. But say the word ‘writing’ to writers, and they will likely think of the process of composing. Most writers would agree with novelist E. M. Forster, who wrote, “How can I know what I think until I see what I say?” (Forster, 1927, p. 99). Experienced writers know that the act of writing stimulates thinking.

Inexperienced and experienced writers have a very different understanding of composition. Novice writers often make the mistake of believing they have to know what they are going to write before they can begin writing. They often compose a thesis statement before asking questions or conducting research. In the course of their reading, they might even disregard material that counters their pre-formed ideas. This is not writing; it is recording.

In contrast, experienced writers begin with questions and work to discover many different answers before settling on those that are most convincing. They know that the act of putting words on paper or a computer screen helps them invent thought and content. Rather than trying to express what they already think, they express what the act of writing leads them to think as they put down words. More often than not, in other words, experienced writers write their way into ideas, which they then develop, revise, and refine as they go.

With that in mind, are you ready to abandon critical thinking? How relevant and valuable will you be as a worker in the time of AI if you cannot offer a differentiated set of abilities?

The proper lanes for AI writing

There are areas where AI writing and text generation make sense, such as producing drafts for various marketing and sales communication that employees then edit or rewrite; automated report generation (detailed data of financial reports, forms for pharma research, etc.), automating health care administration paperwork for clinicians, providers, and insurance; or producing A/B testing of marketing messages.

Note that none of these use cases are new to AI — many companies have labored to bring these natural language use cases to market since as early as 2015, with limited success. However, GAI could provide the true spark to move many of them forward.

So be wary of how far you want to go with AI writing. A good rule of thumb used by many AI ethicists these days is this: The question you should ask isn’t ‘Can I do this AI?’ but rather, ‘Should I do this AI?’

Similar Posts