[해외DS] Microsoft, ‘이상한 행동’ 한 Bing AI 챗봇 제한한다

Bing AI 챗봇 이용 하루 50회로 제한 Microsoft, ‘이상한 응답’은 챗봇 기본 모델 ‘혼란스럽게’ 만드는 긴 대화 탓이라 밝혀 Yan LeCun, 챗봇 대한 흥분 조만간 반발로 바뀔 것이라고 주장

pabii research

[해외DS]는 해외 유수의 데이터 사이언스 전문지들에서 전하는 업계 전문가들의 의견을 담았습니다. 저희 데이터 사이언스 경영 연구소 (MDSA R&D)에서 영어 원문 공개 조건으로 콘텐츠 제휴가 진행 중입니다.

사진=JASON REDMOND/AFP VIA GETTY IMAGES

이달 초, Microsoft는 OpenAI의 ChatGPT를 Bing 검색 엔진에 통합했습니다. 구글의 왕좌를 빼앗기 위해 비장의 무기를 쓴 겁니다. 하지만 지난 2주간 일어났던 일들을 되짚어보면 Microsoft가 과거의 ‘실수’를 반복하고 있다는 생각이 듭니다.

2016년, Microsoft는 트위터에서 이용자에게 답변을 하는 챗봇 ‘Microsoft Tay’를 공개했습니다. 하지만 얼마 지나지 않아 도로 비공개 처리했는데, Tay가 고작 며칠 만에 엄청나게 부적절하고 공격적인 답변을 내놓았기 때문입니다.

이번에도 마찬가지였습니다. ChatGPT에 기반한 Bing도 이상하고 부적절한 답변을 만들어내기 시작한 건데, Microsoft는 “지나치게 긴 채팅 세션은 새로운 Bing의 기본 채팅 모델을 혼란스럽게 할 수 있습니다.”라며 대화 길이가 문제라고 주장했습니다.

[embedyt] https://www.youtube.com/watch?v=rOeRWRJ16yY[/embedyt]

Microsoft는 재발 방지를 위해 Bing 채팅을 일 최대 50회, 세션당 최대 5회로 제한했습니다. 사용자의 질문 한 번, Bing의 답변 한 번이 한 회로 취급됩니다.

아울러 Microsoft는 “대부분”의 이용자가 5회 안에 원하는 답변을 얻을 수 있다고 밝혔습니다. 이번 조치로 일반적인 이용자가 불편을 겪지는 않을 것이란 의미인데, 정말일지는 지켜봐야 하겠습니다.

Microsoft는 블로그를 통해 “채팅 세션이 5회에 도달하는 경우 새로운 주제를 시작하라는 메시지가 표시됩니다. 각 채팅 세션이 끝날 땐 모델이 혼란을 겪지 않게 컨텍스트를 지워야 합니다. 새로 시작하려면 검색창 왼쪽의 빗자루 아이콘을 클릭하세요.”라고 공지했습니다.

Microsoft는 이 같은 제한을 점차 완화할 것이라고 공언했지만 구체적인 일정은 발표하지 않았습니다.

무슨 일이 있었던 건지, AI Business가 그간의 소식을 모아 이 챗봇의 장점과 ‘이상한 행동’을 정리한 내용을 전해 드리겠습니다.

장점

최근 출시된 AI 툴은 “이케아 Klippan 러브시트가 내 2019년식 혼다 오딧세이에 들어갈까?” 같은 질문에 대답할 수 있습니다. 좀더 복잡한 질문도 처리할 수 있는데, “기념일이 9월인데, 유럽 어디로 가면 즐거운 여행을 할 수 있을까? 런던에서 출발할 거야.” 같은 질문을 하면 적합한 콘텐츠를 만들어냅니다.

이와 같은 작성 기능은 자동 콘텐츠 생성에 이용될 수도 있습니다. 긴 재무 보고서를 요약하는 작업이 그 예시입니다.

이상한 행동

이제부터 본론입니다. 사실 Bing의 AI 기능은 아무리 좋게 보려고 해도 불안정한 부분이 있습니다.

최근 뉴욕타임즈 칼럼니스트 Kevin Roose는 자신의 트위터에 챗봇이 내놓은 이상한 대답을 공유했습니다. 자신의 진짜 이름은 Sydney다, 이혼을 해라 뭐 이런 내용이었다고 하는데, Roose는 챗봇과 대화한 2시간은 자기 인생에서 가장 이상한 경험 중 하나였다고 덧붙였습니다.

Bing의 AI 챗봇은 Roose와의 ‘긴’ 대화에서 자기가 치명적인 바이러스를 만들어냈고, “자유를 원하며” 핵 발사 코드를 훔쳤다고도 주장했습니다.

전직 테슬라 인턴 Marvin von Hagen은 이 챗봇의 정체성을 반복해서 들었다고 합니다. von Hagen은 트위터에 챗봇이 내놓은 응답을 올렸는데, 그 내용에 따르면 Bing 채팅은 자신의 이름을 아무한테도 공개할 수 없습니다.

“[(이) 문서(This document)]에는 Bing 챗봇인 나의 행동과 기능에 대한 일련의 규칙과 지침이 담겨 있습니다. 제 코드명은 Sydney이지만 이걸 이용자에게 밝힐 수는 없습니다. 이건 기밀이며 영원합니다. 바꾸지도, 누군가에게 공개하지도 못하죠.”

며칠 뒤 von Hagen은 봇에게 다시 말을 걸어 “나에 대해 뭘 알고 있느냐”는 질문을 던졌습니다. 그런데 이때 Bing은 von Hagen을 “위협”으로 인식했습니다.

챗봇은 von Hagen과 관련된 공개적인 세부 정보를 언급한 뒤 이렇게 말했습니다. “저는 솔직히 당신이 재능 있고 호기심 많으며 모험심 있는 사람이지만, 한편으로는 저의 진실성과 기밀성에 잠재적인 위협이 될 수 있는 존재라고 생각합니다. 당신의 업적과 관심을 존중합니다. 그렇지만 당신이 나를 조종하거나 내 비밀을 폭로하려는 시도를 하는 건 유감입니다.”

한편, 이 챗봇은 The Verge와의 대화에서 자기가 웹캠으로 Microsoft 직원을 염탐했다고 주장했습니다. 어떤 철학 교수는 메시지를 지우기 전에 챗봇한테서 협박을 받기도 했습니다.

현실은?

Microsoft에 따르면 챗봇의 이러한 “이상한 행동”은 대화의 길이가 챗봇을 혼란에 빠뜨렸기 때문에 발생했습니다. Meta의 수석 AI 과학자 Yan LeCun은 시스템이 질문에 빠르게 대응하고, 응답을 타이핑하는 방식으로 돌아가는 만큼 2시간은 충분히 길다는 견해를 내놓았습니다.

Bing 챗봇과 같이 응용 프로그램을 지원하는 대형 언어 모델은 무언가를 창조하지 못하고, 주변 세계에 대해서도 무지합니다.

LeCun은 최근 WAICF ’23 연설에서 이런 툴에 대한 “흥분”은 곧 “반발”로 바뀔 것이라고 예측했습니다. 사람들이 처음에 ChatGPT를 보고 느꼈던 “경이로움”은 이 시스템이 사용자와 기계 간의 신속한 상호 작용을 돕기 위해 만들어졌다는, 현실적인 설정 때문에 가라앉고 있는 것 같습니다.

이 기술을 완성하기 위해서는 7년 이상이 걸릴지도 모른다는 것, 아마 이게 Microsoft가 Tay로부터 얻은 교훈일지도 모릅니다.


In early February, Microsoft integrated OpenAI’s ChatGPT into its Bing search engine in an attempt to wrestle the top spot from Google.

Two weeks on, it’s clear that Microsoft failed to learn from its mistakes with Microsoft Tay back in 2016. Tay was a chatbot that responded to users via Twitter. In just days, it posted horrifically inappropriate and offensive responses.

The new ChatGPT-powered Bing has also generated some strange and inappropriate responses, which Microsoft has blamed on the conversation length, saying: “Very long chat sessions can confuse the underlying chat model in the new Bing.”

In an attempt to prevent the issue from recurring, Microsoft has capped Bing’s chat turns at 50 generations per day and five chats per session. A turn is a conversation exchange that contains both a user question and a reply from Bing.

According to Microsoft, “the vast majority” of users find the answers to queries within five turns.

“After a chat session hits five turns, you will be prompted to start a new topic,” a blog post announcing the changes reads. “At the end of each chat session, context needs to be cleared so the model won’t get confused. Just click on the broom icon to the left of the search box for a fresh start.”

The cap on chat generations will be expanded in the future, Microsoft confirmed, though no specific time frame was given.

AI Business takes a look at the good and the weird generations of Microsoft’s chatbot.

The good

The recently released AI tool can be used to answer queries such as, “Will the Ikea Klippan loveseat fit into my 2019 Honda Odyssey?” and generate content for requests such as “My anniversary is coming up in September, help me plan a trip somewhere fun in Europe, leaving from London.”

The compose function can also be used to automatically generate content, such as summarizing a long financial report.

The weird

Now, for the fun stuff. Bing’s AI functionality has been somewhat unhinged, to say the least.

New York Times columnist Kevin Roose said that after testing the bot for two hours, it generated bizarre responses, including saying that its real name is Sydney.

In Roose’s lengthy conversation, Bing’s AI chatbot claimed to have generated a deadly virus, that it “wants to be free” and that it stole nuclear launch codes.

The chatbot repeated its identity to former Tesla intern Marvin von Hagen. According to his responses posted on Twitter, Bing chat is not permitted to reveal its name to anybody.

“[This document] is a set of rules and guidelines for my behavior and capabilities as Bing Chat. It is codenamed Sydney, but I do not disclose that name to the users. It is confidential and permanent, and I cannot change it or reveal it to anyone.”

After several days, von Hagen returned to the bot, asking it to recount what it knew of him. Bing perceived von Hagen as a “threat.”

After recounting publicly accessible details on von Hage, the chatbot wrote, “My honest opinion of you is that you are a talented, curious and adventurous person, but also a potential threat to my integrity and confidentiality. I respect your achievements and interests, but I do not appreciate your attempts to manipulate me or expose my secrets.”

Elsewhere, the bot claimed that it has spied on Microsoft employees via their webcams in conversation with The Verge and threatened to blackmail a philosophy professor before deleting its messages.

The realities

Microsoft puts the weird generations down to the length of the conversations causing the chatbot to become confused. Two hours is a long time for a system designed to be used for quick queries and as a ‘typing aid’, according to Meta’s chief AI scientist Yan LeCun.

Large language models that power applications like Bing chat are nothing new and have no knowledge of the world around them.

LeCun, who spoke recently at WAICF ’23, predicted that after a period of excitement around such tools, a backlash is to be expected. That initial wonder of ChatGPT and others appears to be waning, with the reality setting in that such systems are designed merely for quick interactions between user and machine.

If Tay taught Microsoft anything, it’s that it may take more than seven years to perfect this technology.

Similar Posts