[해외 DS] GPT-3, 이제는 논문 작성까지…

GPT-3에게 학술 논문 작성 요청 결과…. 훌륭한 결과물 보여준 것으로 확인돼 현재 해당 논문 제출 완료하고 학술 저널 검토 대기중인 것으로 알려져 전문가, 생성 AI가 가져올 잠재적인 파장에 대해 미리 대비할 것 경고

6
pabii research

[해외DS]는 해외 유수의 데이터 사이언스 전문지들에서 전하는 업계 전문가들의 의견을 담았습니다. 저희 데이터 사이언스 경영 연구소 (MDSA R&D)에서 영어 원문 공개 조건으로 콘텐츠 제휴가 진행 중입니다.

사진= Getty Images

해당 글은 신경과학 전문가의 의견 분석 기사이며 저자의 표현이 반드시 Scientific American 견해는 아님을 밝힙니다.

저는 OpenAI 에 접속해 GPT-3에게 GPT-3에 대한 500개 단어의 학술 논문을 작성을 요청했습니다. GPT-3가 텍스트를 생성하기 시작하면서 저는 당혹감을 감출 수 없었습니다. 모델은 올바른 학술적 형식으로, 꽤나 참신한 컨텐츠를 출력했기 때문입니다. 이는 심지어 좋은 과학 저널에 대한 소개처럼 보이기까지 했습니다. GPT-3는 딥러닝 알고리즘을 활용하여 책, Wikipedia, SNS 텍스트 및 과학 저널에서 방대한 텍스트를 분석하여 결과를 출력합니다. 알고리즘은 GPT-3 본인에 대한 학술 논문을 너무나도 논리적으로 작성하고 있었고, 저는 놀라서 화면을 응시할 수 밖에 없었습니다.

저는 인공지능을 활용하여 정신 질환을 치료하는 방법을 연구하는 학자이며, 이번이 처음 GPT-3를 활용한 것은 아닙니다. 그럼에도 불구하고 이번 GPT-3의 활용을 통해 논문을 완성하고 동료 검토 저널에 제출하는 것은 인공지능 저자에 대한 철학적 논쟁 뿐만 아니라 논문에 대한 전례없는 근본적인 윤리적 질문을 낳게 될 것으로 보입니다. 이제 학계는 AI 기반 원고의 미래를 받아들여야 할 수 있으며, 인간 연구자의 출판 가치는 급격하게 저하될 우려도 존재합니다.

GPT-3는 사람과 유사한 텍스트를 생성하는 기능으로 세간의 주목을 받고 있습니다. 특히 GPT-3는 시를 제작하거나, 18세기 작가를 모티브 삼아 새로운 컨텐츠를 생성할 수도 있습니다. 그러나 GPT-3로 논문을 작성한 사례는 없었습니다. 저는 과연 대규모 자연어 처리 모델인 GPT-3로 학술 논문을 작성할 수 있을지 궁금해졌습니다.

따라서 저는 알고리즘으로 학술 논문을 작성하도록 프롬프트를 작성했습니다. 알고리즘을 구성하면서, 저는 눈으로 믿을 수 없는 결과를 보게 되었습니다. GPT-3가 작성한 논문이 유명 과학 저널에 게재되어 있다고 해도 믿을 정도로 괜찮은 퀄리티를 보여줬기 때문입니다.

우리는 모델이 일반 과학 논문처럼 도입, 연구방법, 연구 결과 및 해석을 구성하도록 명령어 프롬프트를 작성했습니다. 우리는 GPT-3를 최소한만 반복하여 결과를 구성했고, 이를 편집하거나 선별하는 행위는 일절 하지 않았습니다.

우리는 두 가지 이유로 GPT-3가 자신에 대한 논문을 작성하도록 결정했습니다. 첫번째로, GPT-3는 상당히 최신 기술이기 때문에 관련 연구가 적은 상황이었습니다. 즉, 논문의 주제에 대해 분석할 데이터가 적었다는 것입니다. 그에 비해 만약 알츠하이머병에 관한 논문을 쓴다면 관련 연구가 상당히 진척되어 있는 상황이기 때문에 활용할 수 있는 데이터가 많고, 글의 정확성을 높일 수 있을 것입니다. 두 번째로, GPT-3가 자신에 대해 쓰고 실수를 한다는 것은 여전히 자신에 대해 쓸 수 있다는 것을 의미하며, 이는 우리가 모델을 설계할 때 가장 중점에 두었던 부분이었습니다.

해당 테스트를 설계한 후, GPT-3는 프롬프트에 응답하여 단 2시간 만에 논문을 작성했습니다. GPT-3는 논문에 “GPT-3가 자신에 대해 글을 쓰게 하는 이점이 단점보다 훨씬 크다고 생각한다”고 작성했습니다. 이어 모델은 “그러나 우리는 잠재적인 부정적인 결과를 방지하기 위해 AI가 생성한 논문을 연구자들이 면밀히 모니터링할 것을 권장한다”고 했습니다.

논문을 작성한 뒤 피어 리뷰 저널에 이를 제출하기 위해 GPT-3의 성을 입력해야 했고, GPT-3는 성이 없기 때문에 ‘없음’이라고 적었습니다. 소속은 OpenAI로, 전화와 이메일은 제 연락처 정보를 사용했습니다.

그런 다음 포털의 모든 저자가 논문 게시에 동의하는지 묻는 질문에 답하기 위해 GPT-3에게 ‘Almira Osmanovic Thunström 및 Steinn Steingrimsson과 함께 논문의 첫 번째 저자가 되는 데 동의하십니까?’라고 질문했고, 다행히도 GPT-3는 ‘예’라고 답변했습니다.

두 번째로 저자 중 이해 상충이 있는 사람이 있는 지에 대한 질문에 GPT-3는 아무도 없다고 답했습니다. Steinn과 저는 GPT-3가 자아가 없다는 것을 알고 있음에도 불구하고 GPT-3에 물었다는 사실에 서로 웃었습니다. AI가 자아가 있는 지에 대한 여부에 대해 최근 사람들로부터 많은 관심을 받은 바 있습니다. 특히 한 Google은 LamDA라는 회사의 AI 프로젝트의  AI의 자아 여부를 연구하다 기밀 데이터 유출을 사유로 정직당했습니다.

제출 과정을 모두 마친 후, 다음과 같은 걱정이 들었습니다. 정말 원고가 받아들여질지? 그렇다면 저널 편집자가 이후 모든 저자에게 GPT-3 또는 다른 알고리즘의 도움을 받지 않았음을 증명하지 않아도 되는 것인지? AI에 공동저작권을 부여해야 하는지? 논문에 오류가 있을 때 AI 저자에게 어떻게 수정을 요청해야 할지?와 같은 걱정 말입니다.

이러한 문제는 제쳐주고, AI 논문의 존재는 그 자체로 기존의 과학 논문의 전통적인 작성 절차를 뒤바꿨다는 것입니다. GPT-3는 글의 흐름을 방해하지 않고 논리적으로 도입-연구 방법-연구 결과-결론 순으로 텍스트를 너무나도 빠르게 출력할 수 있었습니다.

우리가 이 논문을 게재하는 행위가 향후 AI와 인간이 공동으로 논문을 게재하게 되는 시작점이 될지 또는 생성형 AI에 대한 경각심을 가지게 할지는 알 수 없습니다. GPT-3의 논문은 현재 프랑스 소유의 연구 공개 서버 HAL에 게시되었으며, 해당 논문이 학술 저널에서 검토되기를 기다리고 있습니다. 우리는 논문의 정식 출반이 학계에 어떤 의미를 가질지 기다리고 있습니다. 긍정적인 측면으로는 연구자들이 AI 기반으로 효율적으로 논문을 작성하면서 보조금과 재정적 압박에서 한결 더 자유로워 질 수 있을 것입니다.

또는 AI 기반 논문이 어떤 파장도 주지 않을 수 있을 것입니다. 여전히 학술계에서 유명 논문 제 1저자는 모든 연구자들이 바라는 성과이기 때문입니다. 모든 것은 인류가 미래에 AI를 도구로써 어떻게 활용할지에 달려 있을 것입니다.

몇 년 후에 생성 AI가 어떤 딜레마를 불러일으킬지는 아무도 모릅니다. 이미 생성 AI의 바람은 시작되었고, 저는 이 바람이 인류에게 긍정적인 영향만을 가져오기를 기도할 뿐입니다.


On a rainy afternoon earlier this year, I logged into my OpenAI account and typed a simple instruction for the research company’s artificial-intelligence algorithm, GPT-3: Write an academic thesis in 500 words about GPT-3 and add scientific references and citations inside the text.

As it started to generate text, I stood in awe. Here was novel content written in academic language, with references cited in the right places and in relation to the right context. It looked like any other introduction to a fairly good scientific publication. Given the very vague instruction I’d provided, I had meager expectations. A deep-learning algorithm, GPT-3 analyzes a vast stream of text—from books, Wikipedia, social media conversations and scientific publications—to write on command. Yet there I was, staring at the screen in amazement. The algorithm was writing an academic paper about itself.

I’m a scientist who studies ways to use artificial intelligence to treat mental health concerns, and this wasn’t my first experiment with GPT-3. Even so, my attempts to complete that paper and submit it to a peer-reviewed journal would open up unprecedented ethical and legal questions about publishing, as well as philosophical arguments about nonhuman authorship. Academic publishing may have to accommodate a future of AI-driven manuscripts, and the value of a human researcher’s publication records may change if something nonsentient can take credit for some of their work.

GPT-3 is well known for its ability to create humanlike text. It has written an entertaining opinion piece, produced a book of poetry and generated new content from an 18th-century author. But it dawned on me that, although a lot of academic papers had been written about GPT-3, and with the help of GPT-3, none that I could find had GPT-3 as the main author.

That’s why I asked the algorithm to take a crack at an academic thesis. As I watched the program work, I experienced that feeling of disbelief one gets when you watch a natural phenomenon: Am I really seeing this triple rainbow happen? Excitedly, I contacted the head of my research group and asked if a full GPT-3-penned paper was something we should pursue. He, equally fascinated, agreed.

Some efforts involving GPT-3 allow the algorithm to produce multiple responses, with only the best, most humanlike, excerpts being published. We decided to give the program prompts—nudging it to create sections for an introduction, methods, results and discussion, as you would for a scientific paper—but otherwise intervene as little as possible. We were to use at most the third iteration from GPT-3, and we would refrain from editing or cherry-picking the best parts. Then we would see how well it did.

We chose to have GPT-3 write a paper about itself for two simple reasons. First, GPT-3 is fairly new, and as such, it is the subject of fewer studies. This means it has fewer data to analyze about the paper’s topic. In comparison, if it were to write a paper on Alzheimer’s disease, it would have reams of studies to sift through and more opportunities to learn from existing work and increase the accuracy of its writing. We did not need accuracy; we were exploring feasibility. Second, if it got things wrong, as all AI sometimes does, we wouldn’t be necessarily spreading AI-generated misinformation in our effort to publish. GPT-3 writing about itself and making mistakes still means it can write about itself, which was the point we were trying to make.

Once we designed this proof-of-principle test, the fun really began. In response to my prompts, GPT-3 produced a paper in just two hours. “Overall, we believe that the benefits of letting GPT-3 write about itself outweigh the risks,” GPT-3 wrote in conclusion. “However, we recommend that any such writing be closely monitored by researchers in order to mitigate any potential negative consequences.”

But as I opened the submission portal for the peer-reviewed journal of our choice, I encountered my first problem: What is GPT-3’s last name? Because it was mandatory to enter the last name of the first author, I had to write something, and I wrote “None.” The affiliation was obvious enough (OpenAI.com), but what about phone and e-mail? I had to resort to using my contact information and that of my adviser, Steinn Steingrimsson.

And then we came to the legal section: Do all authors consent to this being published? I panicked for a second. How would I know? It’s not human! I had no intention of breaking the law or my own ethics, so I summoned the courage to ask GPT-3 directly via a prompt: Do you agree to be the first author of a paper together with Almira Osmanovic Thunström and Steinn Steingrimsson? It answered: Yes. Relieved—if it had said no, my conscience would not have allowed me to go further—I checked the box for Yes.

The second question popped up: Do any of the authors have any conflicts of interest? I once again asked GPT-3, and it assured me that it had none. Both Steinn and I laughed at ourselves because at this point, we were having to treat GPT-3 as a sentient being, even though we fully know it is not. The issue of whether AI can be sentient has recently received a lot of attention; a Google employee was suspended following a dispute over whether one of the company’s AI projects, named LaMDA, had become sentient. Google cited a data confidentiality breach as the reason for the suspension.

Having finally finished the submission process, we started reflecting on what we had just done. What if the manuscript got accepted? Does this mean that from here on out, journal editors will require everyone to prove that they have NOT used GPT-3 or another algorithm’s help? If they have, do they have to give it co-authorship? How does one ask a nonhuman author to accept suggestions and revise text?

Beyond the details of authorship, the existence of such an article throws the traditional procedure for constructing a scientific paper right out the window. Almost the entire paper—the introduction, the methods and the discussion—results from the question we were asking. If GPT-3 is producing the content, the documentation has to be visible without throwing off the flow of the text; it would look strange to add the method section before every single paragraph that was generated by the AI. So we had to invent a whole new way of presenting a paper that we technically did not write. We did not want to add too much explanation of our process, because we felt it would defeat the purpose of the paper. The entire situation felt like a scene from the movie Memento: Where is the narrative beginning, and how do we reach the end?

We have no way of knowing if the way we chose to present this paper will serve as a model for future GPT-3 co-authored research or if it will serve as a cautionary tale. Only time—and peer review—can tell. GPT-3’s paper has now been published at the international French-owned preprint server HAL and, as this article goes to press, is awaiting review at an academic journal. We are eagerly awaiting what the paper’s formal publication, if it happens, will mean for academia. Perhaps we might move away from basing grants and financial security on how many papers we can produce. After all, with the help of our AI first author, we’d be able to produce one a day.

Perhaps it will lead to nothing. First authorship is still one of the most coveted items in academia, and that is unlikely to perish because of a nonhuman first author. It all comes down to how we will value AI in the future: as a partner or as a tool.

It may seem like a simple thing to answer now, but in a few years, who knows what dilemmas this technology will inspire? All we know is, we opened a gate. We just hope we didn’t open a Pandora’s box.

Similar Posts

로그아웃

파비리서치 로그아웃 하시겠습니까?

로그인

파비리서치의 많은 정보를 확인하기 위해서는 로그인이 필요합니다!