[해외DS] 오픈AI GPT-4 출시, 챗GPT 플러스에서 만난다 (1)

오픈AI, 차세대 생성 AI 언어 모델 GPT-4 공식 출시 코딩 생성 및 이미지 입력 기능 향상된 GPT-4, 사법 시험까지 통과 오픈AI 프리미엄 구독 서비스 챗GPT 플러스에서 만나볼 수 있어

2
pabii research

[해외DS]는 해외 유수의 데이터 사이언스 전문지들에서 전하는 업계 전문가들의 의견을 담았습니다. 저희 데이터 사이언스 경영 연구소(MDSA R&D)에서 영어 원문 공개 조건으로 콘텐츠 제휴가 진행 중입니다.

사진=AI Business

지난 몇 주 동안 소문만 무성했던 오픈AI의 새로운 언어 모델 GPT-4가 마침내 공개됐습니다. 챗GPT가 대히트를 친 지 얼마 되지 않은 것 같은데 말입니다. 규모 측면에서도 현존하는 언어 모델을 전부 압도한다고 합니다.

GPT-4는 이미지와 텍스트를 입력받고 텍스트를 출력할 수 있습니다. 오픈AI는 GPT-4의 성능을 “인간 수준”이라 평가했습니다. 심지어는 모의 사법 시험도 통과했다는데, 성적이 무려 상위 10%에 들어갔다고 합니다.

하지만 오픈AI CEO 샘 알트만(Sam Altman)은 GPT-4가 완벽하지 않다면서 “여전히 결함이 있고, 여전히 제한적입니다. 처음 접했을 때가 가장 인상적이지 시간이 지나면 그 충격은 점점 가라앉을 것입니다.”라고 말했습니다.

GPT-4는 2020년에 출시된 GPT-3과 챗GPT 미세 조정에 이용되는 모델 중 하나인 GPT-3.5의 자리를 대신하게 됩니다.

오픈AI는 GPT-4를 개발하기 위해 딥 러닝 스택 전체를 재구축했고, 마이크로소프트와 공동으로 설계한 슈퍼컴퓨터로 워크로드를 실행했습니다. 시스템 테스트에는 GPT-3.5가 활용됐습니다. 오픈AI 측은 이러한 테스트의 결과를 참고한 덕에 오픈AI의 GPT-4 훈련 과정은 “전례 없이 안정적”이었다고 밝혔습니다.

GPT-4는 기존 GPT 모델처럼 문서의 다음 단어를 예측하도록 훈련됐습니다. 훈련 과정에는 인터넷에서 확보한, 공개적으로 사용 가능한 데이터와 오픈AI의 파트너사로부터 라이선스를 받은 데이터가 이용됐습니다. 또한 오픈AI는 인간 피드백형 강화 학습(RLHF; Reinforcement Learning with Human Feedback) 방식을 채택해 프롬프트를 보고 사용자의 의도와 일치하는 응답을 내놓을 수 있도록 GPT-4를 미세 조정했습니다.

GPT-4는 챗GPT처럼 2021년 9월까지의 지식만을 가지고 있고, 경험을 통해 학습할 수 없습니다.

사실 짚고 넘어가야 할 부분이 있는데, GPT-4가 현존하는 언어 모델 중 최대라는 건 오픈AI의 주장에 불과합니다. 오픈AI가 GPT-4의 정확한 크기를 비밀에 부쳤기 때문에 사실 확인이 불가능하죠. 참고로 언어 모델 크기는 파라미터 수로 표현되는데, GPT-3의 경우 무려 1,750억개의 파라미터로 구성돼 있습니다.

또 언어 모델의 성능이 항상 크기에 비례하는 것도 아닙니다. 예를 들어 구글이 최근 출시한 라마(LLaMA)는 70억개에서 650억개의 파라미터로 구성돼 있습니다. 앞서 언급했던 GPT-3과 비교하면 굉장히 소박하죠. 하지만 파라미터 130억개로 구성된 라마-13B는 대부분의 벤치마크 테스트에서 오픈AI의 GPT-3보다 뛰어난 성능을 보였습니다. GPT-3이 파라미터 1,750억개를 가지고 있으니 파라미터가 1,620억개나 많은, 달리 표현하면 자신보다 13.5배가량 큰 모델을 이긴 겁니다.

오픈AI는 GPT-4의 기술적인 사양, 즉 훈련에 이용된 데이터의 정확한 양이나 정확한 크기에 대한 세부적인 정보를 거의 공개하지 않았습니다. 자세한 내용은 밑에서 다시 이야기하겠지만, 이런 정보는 MMLU(Massive Multitask Language Understanding; 대규모 다중 작업 언어 이해, 머신 러닝 성능 테스트의 일종) 벤치마크 테스트 결과에도 거의 명시되지 않았습니다.

MMLU 벤치마크 결과. (본문 링크에서도 확인할 수 있습니다.) GPT-4의 기술 사양이 대부분 공란으로 남아 있습니다./사진=AI Business

오픈AI는 대체 왜 이런 선택을 했을까요? 공식적으로 확인된 건 없지만, 최근 오픈AI와 다른 기업 간의 협업 및 파트너십 사례가 늘어나고 있다는 점을 생각해 볼 필요가 있습니다. 오픈AI는 챗GPT 출시 이후 언어 모델 테스트를 위한 파트너십을 체결한 대가로 마이크로소프트로부터 상당한 지원을 받았습니다. 세일즈포스(Salesforce), 베인 앤 컴퍼니(Bain & Co.) 등과도 계약을 체결했죠. 결론적으로 오픈AI는 기업 기밀 유출을 두려워하고 있는 것 같습니다.

GPT-4 액세스 권한은 어떻게 받을 수 있나요?

조만간 출시될 챗GPT 플러스에서 GPT-4를 만나볼 수 있습니다. 챗GPT 플러스는 답변을 좀더 빠르게 받고, 액세스 우선권을 갖고 싶은 사용자를 위한 구독 서비스입니다. 오픈AI는 수요와 시스템의 성능에 맞게 GPT-4의 사용량 한도를 조정하겠다고 밝혔습니다. 그렇지만 초기에는 용량을 “심각하게 제한”하고, 시간이 지남에 따라 제한을 점차 풀 예정이라고 하네요.

또한 오픈AI는 GPT-4를 더 많이 쓰고 싶은 사용자를 대상으로 새로운 구독 요금제를 도입하는 방안을 검토 중이라고 말했습니다. 오픈AI는 무료 GPT-4 쿼리를 제공할 수 있는 여력이 생긴다면 구독을 안 하는 사람들에게도 GPT-4 이용 기회를 제공할 의향이 있다고 덧붙였습니다.

옴디아(Omdia)의 수석 AI 및 데이터 분석가인 브래들리 시민(Bradley Shimmin)은 이 새 모델이 도입되면서 챗GPT도 개선될 것으로 보이지만 좀더 많은 텍스트를 생성하고, 다양한 양식을 처리하는 수준을 넘는 큰 변화가 있지는 않을 것이라고 말했습니다.

“바로 이전의 GPT-3.5나 그보다 오래된 GPT-3에서처럼, GPT-4에 기반한 챗GPT는 이미 할 수 있었던 것을 ‘터보차지’ 혹은 ‘증폭’하게 될 것입니다. 이건 오픈AI가 직접 밝힌 부분이죠. 구체적으로 8배 더 많은 단어와 이미지를 이해할 수 있도록 조정될 것입니다.”

“하지만 GPT-4를 교육할 때 사용된 데이터는 기존 모델과 마찬가지로 작년 말까지의 데이터입니다. 즉 GPT-4 역시 일일 뉴스 피드를 제공할 수 없습니다. 이 부분에서는 기존 모델과 차이가 없습니다.”

GPT-4는 API에서도 돌아갑니다. 단 텍스트 입력 반복만 할 수 있죠. API 액세스 권한은 GPT-4 대기자 명단에 이름을 올려야 받을 수 있습니다.

다만 개발자라면 GPT-4 액세스 초대장을 받을 수 있습니다. 이를 통해 오픈AI도 용량과 수요 사이의 균형을 테스트할 수 있죠. 아울러 AI 혹은 AI 정렬 문제의 사회적인 영향을 연구하는 연구원은 오픈AI의 연구원 액세스 프로그램을 통해 액세스 신청을 위한 보조금을 받을 수 있습니다.

오픈AI CEO 알트만에 따르면 개발자는 API를 이용해 동작을 상당한 수준으로 사용자화할 수 있고, 이러한 기능은 챗GPT에도 “곧” 추가될 것입니다.

또한 알트만은 GPT-4의 이미지 입력 기능이 아직까지 검토 단계에 있는 건 회사에 “안전 문제를 완화”하기 위한 시간이 필요하기 때문이라고 말했습니다.

GPT-4에 이미지 입력 기능이 추가된다면 가용성이 개선될 것입니다. 오픈AI는 이를 위해 유일한 파트너인 비 마이 아이즈(Be My Eyes)와 “긴밀하게 협력”하고 있다고 밝혔습니다. 오픈AI와 비 마이 아이즈는 ‘비 마이 아이즈 버츄얼 발룬티어(Be My Eyes Virtual Volunteer)’라는 이름의 앱을 개발 중인데, 이 앱에는 GPT-4에 기반한 이미지-텍스트 생성기가 들어갈 예정입니다. 앱은 사용자가 올린 이미지를 보고 이미지 식별, 해석 및 대화형 시각 지원 같은 다양한 작업을 수행합니다.

한편 오픈AI는 AI 모델 성능 자동 평가를 위한 프레임워크인 오픈AI 에벌즈(OpenAI Evals)를 오픈 소싱한다고 발표했습니다. 개발자는 오픈AI 에벌즈를 이용해 모델의 잠재적인 단점을 보고할 수 있습니다.

[해외DS] 오픈AI GPT-4 출시, 챗GPT 플러스에서 만난다 (2)로 이어집니다.


After weeks of speculation, OpenAI has finally unveiled GPT-4, its latest and potentially biggest language model to date.

GPT-4 can accept images and text inputs and generate text outputs. According to OpenAI, GPT-4 “exhibits human-level performance,” with its creators claiming that GPT-4 passed a simulated bar exam with a score around the top 10% of test takers.

OpenAI CEO Sam Altman said GPT-4 is “still flawed, still limited, and it still seems more impressive on first use than it does after you spend more time with it.”

GPT-4 supersedes GPT-3, released in 2020 and GPT-3.5, one of the models used to fine-tune ChatGPT.

To create its latest model, OpenAI rebuilt its entire deep learning stack and co-designed a supercomputer with Microsoft to run the workloads. GPT-3.5 was used to test the system. The learnings from those tests enable OpenAI’s GPT-4 training run to be “unprecedentedly stable,” the company said.

Similar to previous GPT models, GPT-4 was trained to predict the next word in a document. The model was trained on publicly available data from the Internet as well as data OpenAI licensed from partners. The model was fine-tuned using reinforcement learning with human feedback (RLHF) so that generated responses to prompts align with the user’s intent.

Like ChatGPT, GPT-4 only knows about events up until September 2021 and does not learn from its experience.

And while OpenAI touts GPT-4 as being larger than previous models, it has opted to not reveal GPT-4’s exact size. Parameters are used to determine a language model’s size. GPT-3 boasted 175 billion parameters. But size doesn’t always correlate to better performance. Google’s recently released LLaMA, for example, which comes in sizes ranging from seven billion parameters up to 65 billion parameters, with the 13 billion parameter version outperforming OpenAI’s GPT-3 “on most benchmarks” despite offering 162 billion parameters fewer.

OpenAI has revealed few technical specifications on GPT-4, offering no details on the exact data used or size details. When checking GPT-4’s performance in machine learning tests like MMLU (for more on that, read on), it lists little to no technical specs.

While OpenAI has not openly commented on the fact that it has changed course with its decision to keep details quiet, it could be to do with its increasing amounts of enterprise collaborations and partnerships. Following the launch of ChatGPT, OpenAI has received significant backing from Microsoft in exchange for partnering on language model tests, as well as agreements with Salesforce and Bain & Co., among others, meaning it may not want to give too much away over fears of leaking corporate secrets.

How can I get access to GPT-4?

Users can get their hands on GPT-4 via the soon-to-be-released ChatGPT+, a subscription-based service for those that want priority access and faster generations. OpenAI said it would adjust the exact usage cap for GPT-4 via ChatGPT+ depending on demand and system performance, but it expects capacity to be “severely constrained” at first, with plans to scale up over time.

To mitigate the constrained capacity, OpenAI said it may introduce a new subscription level for higher-volume GPT-4 usage. The company said: “We also hope at some point to offer some amount of free GPT-4 queries so those without a subscription can try it too.”

Bradley Shimmin, chief AI and data analytics analyst at Omdia, notes that ChatGPT will improve via the introduction of the new model, but won’t be drastically altered beyond generating more text and handling multiple modalities.

“Like GPT 3.5 before it and GPT-3 before that, ChatGPT running on the OpenAI GPT-4 model will, as OpenAI itself has stated, ‘turbocharge’ or ‘amplify’ what we could do before… to the tune of eight times more words and an understanding of images.

“But like before, the data used to train GPT-4 ended late last year, so like its predecessors, GPT-4 will not serve as your daily news feed.”

GPT-4 will also be available via an API, but only the text input iteration. To access the API, users have to sign up for the GPT-4 waitlist.

Developers will be given invited access to GPT-4 so OpenAI can test the balance between capacity with demand. Researchers studying the societal impact of AI or AI alignment issues can apply for subsidized access via OpenAI’s Researcher Access Program.

Company CEO Sam Altman said that the API will allow developers to significantly customize behavior, with the same function coming “soon” to ChatGPT.

Altman said that visual inputs for GPT-4 have only been previewed as the company needs time to “mitigate the safety challenges.”

To prepare the image input capability for wider availability, OpenAI said it is “collaborating closely” with a sole partner, Be My Eyes. The Be My Eyes Virtual Volunteer app will receive an image-to-text generator powered by GPT-4. Users can send images via the app, which will provide identification, interpretation and conversational visual assistance for a wide variety of tasks.

OpenAI announced it’s also open-sourcing OpenAI Evals, its framework for automated evaluation of AI model performance to allow developers to report potential shortcomings in its models.

Similar Posts