[해외DS] ChatGPT 그리고 생성 AI, 과학에 있어 어떤 의미일까? (3)

정직한 AI 이용 강조하는 목소리 높아져, AI 작성 콘텐츠 판별 가능한지가 관건 AI 작성 콘텐츠 탐지기, 워터마킹 등 방법은 있지만 한계가 존재 LLM 개발자들, 최근에는 학술 및 의료 분야 특화된 챗봇 개발 위해 노력 중

20
pabii research

[해외DS]는 해외 유수의 데이터 사이언스 전문지들에서 전하는 업계 전문가들의 의견을 담았습니다. 저희 데이터 사이언스 경영 연구소 (MDSA R&D)에서 영어 원문 공개 조건으로 콘텐츠 제휴가 진행 중입니다.

사진=Paweł Jońca

[해외DS] ChatGPT 그리고 생성 AI, 과학에 있어 어떤 의미일까? (2)에서 이어집니다.

‘정직’하게 사용하라는 압박

따라서 일부 연구자들은 이러한 툴에 대한 어떤 선을 만들어 두는 게 중요할지도 모른다고 이야기합니다. Lilian Edwards는 차별과 편견에 대한 기존의 법률(그리고 AI의 악용에 대한 계획적인 규제)을 LLM의 ‘정직하고 투명하며 공정한’ 이용을 담보할 수 있다고 주장했습니다. Edwards는 “굉장히 많은 법이 있습니다.”라며 “그 법을 그대로 적용하거나 아주 약간만 조정하면 됩니다.”라고 덧붙였습니다.

한편 LLM 이용을 투명하게 공개해야 한다는 목소리도 있습니다. 학술 출판사(Nature 출판사 포함)는 과학자들이 연구 논문에 LLM을 사용한 경우 그 사실을 명시해야 한다고 말했습니다. 교사들 역시 학생들이 LLM 사용 여부를 밝혀야 한다는 입장입니다. Science 저널은 한 걸음 더 나아갔는데, ChatGPT나 다른 AI 툴로 만들어진 텍스트는 논문에 쓰면 안 된다는 기사를 냈습니다.

여기서 기술적인 관건이 되는 건 과연 AI가 만들어낸 콘텐츠를 쉽게 찾아낼 수 있는가입니다. 많은 연구원들은 LLM 자체를 활용해 AI가 만든 텍스트를 찾아내겠다는 아이디어를 중심으로 연구를 이어가고 있습니다.

지난 12월 뉴저지 프린스턴대에서 컴퓨터 공학을 공부하는 학부생 Edward Tian이 만든 AI 탐지 툴 ‘GPTZero’가 그 예시입니다. GPTZero는 이전 세대의 LLM인 GPT-2를 기반으로 만들어졌는데, 주어진 텍스트의 ‘perplexity’와 ‘burstiness’를 분석합니다. ‘perplexity’는 텍스트가 LLM과 얼마나 가까워 보이는지 측정하는 척도입니다. 구체적으로, GPTZero가 텍스트에 나오는 대부분의 단어와 문장을 ‘예측’할 수 있다면 그 텍스트는 AI가 만들어냈을 확률이 높습니다. ‘burstiness’은 텍스트의 변형을 확인하는 척도인데, AI가 쓴 글은 사람이 쓴 글보다 어조와 억양 그리고 perplexity가 좀더 일관적으로 나타나는 특성이 있음에 착안했습니다.

이외에도 다양한 ‘AI 작성 콘텐츠 탐지기’가 출시돼 있습니다. OpenAI는 이미 자체적으로 GPT-2 전용 탐지기를 출시했고, 1월에는 또 다른 탐지 툴을 공개하기도 했습니다. 표절 방지 소프트웨어 개발 기업인 Turnitin 역시 툴을 개발하고 있는데, 이건 과학자들에게 특히 중요할 겁니다. 전 세계의 학교, 대학 그리고 학술 출판사가 이미 Turnitin의 툴을 이용 중이기 때문입니다. Turnitin은 2020년 GPT-3이 출시된 뒤 꾸준히 AI 탐지 소프트웨어를 연구해 왔습니다. 새로운 툴은 올해 상반기에 출시될 것으로 보입니다.

하지만 이 모든 툴 중 어떤 것도 완벽하지 않습니다. 특히 AI가 만든 텍스트가 편집 과정을 거치는 경우라면 정확한 답을 내놓지 못할 가능성이 커집니다. 오스틴 텍사스대 소속 컴퓨터 과학자이자 OpenAI의 객원 연구원인 Scott Aaronson은 탐지기가 사람이 쓴 글을 AI가 쓴 것이라고 잘못 판단할 수도 있다고 말했습니다. OpenAI는 자사의 최신 툴을 테스트한 결과 사람이 쓴 텍스트를 AI가 쓴 것으로 잘못 판단한 경우가 9% 있었고, AI가 쓴 텍스트의 26%만이 제대로 판별됐다고 밝혔습니다. Aaronson은 추가적인 증거가 필요하다며, 탐지기가 학생이 낸 과제를 AI가 쓴 것으로 판단했더라도 그것만을 가지고 그 학생을 비난하면 안 된다고 말했습니다.

AI 콘텐츠에 자체적인 워터마크를 붙이자는 아이디어도 있습니다. 지난 11월 Aaronson은 OpenAI와 함께 ChatGPT가 만든 콘텐츠에 워터마크를 다는 방법을 연구하고 있다고 밝혔습니다. 1월 24일에는 컬리지파크 메릴랜드대 소속 컴퓨터 과학자 Tom Goldstein의 연구팀이 프리프린트를 통해 워터마크를 만드는 방법 한 가지를 제시하기도 했습니다. 아직 공개되지는 않았는데, 난수 생성기를 LLM이 콘텐츠를 만드는 과정의 특정 단계에 적용해 LLM이 선택해야 하는 ‘그럴듯한 대체 단어 목록’을 만드는 방식이라고 합니다. 최종 텍스트에서는 통계적으로 식별 가능하지만 읽는 사람은 잘 모를 수 있는, ‘선택된 단어’가 워터마크 역할을 하는 겁니다. 편집을 통해 이런 흔적을 없앨 수도 있겠지만, Goldstein에 따르면 그러기 위해서는 단어의 반 이상을 바꿔야 합니다.

Aaronson은 워터마크를 달면 ‘위양성’, 즉 실제로는 AI가 쓴 건데 사람이 쓴 것이라고 판단하는 오류가 거의 없다는 장점이 있다고 말했습니다. 일단 워터마크가 존재한다면 AI가 만든 텍스트일 가능성이 높기 때문입니다. 하지만 Aaronson은 그럼에도 불구하고 오류가 완벽히 사라지지는 않을 것이라며 “만일 누군가가 정말 작정하고 덤빈다면 거의 모든 워터마킹 체계를 피해갈 수 있을 것이다.”라고 이야기했습니다. 탐지 툴과 워터마크는 AI를 ‘기만적으로’ 이용하는 일을 어렵게 만들기는 하지만 완전히 차단하지는 못합니다.

한편 LLM 개발자들은 최근 좀더 정교한, 즉 보다 큰 데이터 셋에 기반한 챗봇을 만드는 데 집중하고 있습니다(OpenAI는 올해 GPT-4를 출시할 것입니다.). 여기에는 학술 혹은 의료 분야에 특화된 툴이 포함됩니다. 구글과 DeepMind는 Med-PaLM이라는 임상 중심 LLM에 대한 프리프린트를 발표했습니다. 이 툴은 완전무결하거나 완벽히 안정적이지는 않지만, 일반적인 의사와 거의 흡사한 수준으로 개방형 의료 질문에 대답할 수 있었습니다.

캘리포니아 샌디에이고에 있는 Scripps Research Translational Institute의 책임자 Eric Topol은 LLM을 비롯한 AI가 신체 스캔 이미지를 학계의 문헌과 교차 확인해 암 진단과 질병 이해에 도움이 되는 세상이 오기를 희망한다고 말했습니다. 물론 이러한 전 과정에 전문가의 ‘현명한’ 감독이 필요하다는 것은 확실하게 강조했죠.

생성 AI의 이면에 있는 컴퓨터 과학은 매달 ‘혁신’이 등장할 정도로 굉장히 빠르게 움직이고 있습니다. 연구원들이 생성 AI를 이용하기 위해 어떤 방법을 선택하느냐에 연구원들은 물론이고 우리의 미래가 달려 있습니다. Topol은 “2023년 초에 (생성 AI의) 끝을 봤다고 생각하는 건, 그야말로 미친 일”이라며 “정말로 이제 시작일 뿐”이라고 말했습니다.

2023년 2월 8일 수정사항: 본 기사는 AI가 만든 텍스트를 식별할 때 워터마크의 정확성이 어떠한지에 대한 Scott Aaronson의 견해를 잘못 전달했습니다. 확률은 굉장히 낮지만 사람이 만든 텍스트도 워터마크가 있다고 표시될 수 있습니다.


Enforcing honest use

Setting boundaries for these tools, then, could be crucial, some researchers say. Edwards suggests that existing laws on discrimination and bias (as well as planned regulation of dangerous uses of AI) will help to keep the use of LLMs honest, transparent and fair. “There’s loads of law out there,” she says, “and it’s just a matter of applying it or tweaking it very slightly.”

At the same time, there is a push for LLM use to be transparently disclosed. Scholarly publishers (including the publisher of Nature) have said that scientists should disclose the use of LLMs in research papers (see also Nature 613, 612; 2023); and teachers have said they expect similar behaviour from their students. The journal Science has gone further, saying that no text generated by ChatGPT or any other AI tool can be used in a paper5.

One key technical question is whether AI-generated content can be spotted easily. Many researchers are working on this, with the central idea to use LLMs themselves to spot the output of AI-created text.

Last December, for instance, Edward Tian, a computer-science undergraduate at Princeton University in New Jersey, published GPTZero. This AI-detection tool analyses text in two ways. One is ‘perplexity’, a measure of how familiar the text seems to an LLM. Tian’s tool uses an earlier model, called GPT-2; if it finds most of the words and sentences predictable, then text is likely to have been AI-generated. The tool also examines variation in text, a measure known as ‘burstiness’: AI-generated text tends to be more consistent in tone, cadence and perplexity than does that written by humans.

Many other products similarly aim to detect AI-written content. OpenAI itself had already released a detector for GPT-2, and it released another detection tool in January. For scientists’ purposes, a tool that is being developed by the firm Turnitin, a developer of anti-plagiarism software, might be particularly important, because Turnitin’s products are already used by schools, universities and scholarly publishers worldwide. The company says it’s been working on AI-detection software since GPT-3 was released in 2020, and expects to launch it in the first half of this year.

However, none of these tools claims to be infallible, particularly if AI-generated text is subsequently edited. Also, the detectors could falsely suggest that some human-written text is AI-produced, says Scott Aaronson, a computer scientist at the University of Texas at Austin and guest researcher with OpenAI. The firm said that in tests, its latest tool incorrectly labelled human-written text as AI-written 9% of the time, and only correctly identified 26% of AI-written texts. Further evidence might be needed before, for instance, accusing a student of hiding their use of an AI solely on the basis of a detector test, Aaronson says.

A separate idea is that AI content would come with its own watermark. Last November, Aaronson announced that he and OpenAI were working on a method of watermarking ChatGPT output. It has not yet been released, but a 24 January preprint6 from a team led by computer scientist Tom Goldstein at the University of Maryland in College Park, suggested one way of making a watermark. The idea is to use random-number generators at particular moments when the LLM is generating its output, to create lists of plausible alternative words that the LLM is instructed to choose from. This leaves a trace of chosen words in the final text that can be identified statistically but are not obvious to a reader. Editing could defeat this trace, but Goldstein suggests that edits would have to change more than half the words.

An advantage of watermarking is that it rarely produces false positives, Aaronson points out. If the watermark is there, the text was probably produced with AI. Still, it won’t be infallible, he says. “There are certainly ways to defeat just about any watermarking scheme if you are determined enough.” Detection tools and watermarking only make it harder to deceitfully use AI — not impossible.

Meanwhile, LLM creators are busy working on more sophisticated chatbots built on larger data sets (OpenAI is expected to release GPT-4 this year) — including tools aimed specifically at academic or medical work. In late December, Google and DeepMind published a preprint about a clinically-focused LLM it called Med-PaLM7. The tool could answer some open-ended medical queries almost as well as the average human physician could, although it still had shortcomings and unreliabilities.

Eric Topol, director of the Scripps Research Translational Institute in San Diego, California, says he hopes that, in the future, AIs that include LLMs might even aid diagnoses of cancer, and the understanding of the disease, by cross-checking text from academic literature against images of body scans. But this would all need judicious oversight from specialists, he emphasizes.

The computer science behind generative AI is moving so fast that innovations emerge every month. How researchers choose to use them will dictate their, and our, future. “To think that in early 2023, we’ve seen the end of this, is crazy,” says Topol. “It’s really just beginning.”

Correction 08 February 2023: This News feature misrepresented Scott Aaronson’s views on the accuracy of watermarking in identifying AI-produced text. Human-produced text might also be flagged as having a watermark, but the probability is extremely low.

Similar Posts