GPT-4란 무엇인가

 

GPT-4의 출시

인공지능(AI)의 규모와 능력은 비약적으로 향상되고 있으며 기업은 조직 전체에 구현하기 위한 일련의 최첨단 툴에 접근할 수 있게 되어 있습니다. 비영리 AI 연구소인 OpenAI가 이 혁신의 중심에 있고, 최근 출시된 DAL-E2 이미지 생성 플랫폼은 AI 도구가 얼마나 강력해지고 있는지를 보여줍니다. 연간 오픈AI는 딥러닝을 활용해 인간과 같은 텍스트를 생산하는 자기 회귀 언어 모델인 '제너레이티브 사전 훈련 트랜스포머(GPT)' 형태의 텍스트 생성에도 주력하고 있으며 최신 반복인 'GPT-4'가 출시를 눈앞에 두고 있습니다. GPT-3가 출시된 지 2년이 지났고, 이 신경망은 인터넷 데이터 스트림에 머신러닝을 적용해 모든 종류의 텍스트를 큐에 생성하고 있습니다. 흥미롭게도 적절하고 높은 수준의 머신 생성 텍스트의 림 작성을 위해 필요한 입력 텍스트는 얼마 되지 않습니다. 오픈의 경우 지난해 말 GPT-3AI 모델을 누구나 이용할 수 있도록 한 AI가 이제 후계 기종으로 눈을 돌리고 있습니다. GPT-4로 알려진 차세대 언어 모델에 관심이 쏠리면서 비즈니스와 더 넓은 커뮤니티 모두에 큰 가능성을 가져다 줍니다.

이 모델은 1750억이 넘는 머신러닝 파라미터를 사용해 가중치로서 기능합니다.이것들은, 입력된 트레이닝 데이터로부터 학습되는 모델의 일부입니다. 이것은 15억을 쓰는 GPT-2를 작게 합니다. Forward Data Science에 따르면 GPT-4에는 거대한 100조 개의 파라미터가 있다고 합니다. 이를 인간의 뇌와 비교할 수 있는 약 1000억 개의 뉴런이 있으며 적어도 모델의 규모를 나타내고 있습니다 우리는 GPT-4가 인간의 뇌만큼 강력해질 것을 제안하는 것은 아니지만 GPT-3의 접근을 넘어서는 용도를 가질 가능성이 있습니다. 예를 들어 Hallam의 백엔드 디벨로퍼인 Oliver Fokerd는 이들 수조 개의 파라미터에 더해 입력은 더 많은 기호 (대략 단어로 카운트됨)를 허용하고, 그에 따라 훨씬 큰 텍스트의 본문이 소비되고 생성될 것"이라고 말하고 있습니다.

한편 Open의 인터뷰에 따르면 AI 수석 과학자인 일리야 서스케버는 그런 언어 모델이 시각 세계를 깨닫기 시작할 것입니다. 텍스트만으로는 세계에 관한 많은 정보를 표현할 수 있지만 불완전합니다. 언어모델링을 위한 GPT-4의 의미입니다.

페가시스템스의 AI Lab 디렉터이자 리덴 대학의 AI 조교수인 페터밴더Putten에 따르면 OpenAI는 출시일을 사전에 발표한 적이 없으며 GPT-X의 새로운 출시 여부에 대해 항상 상당히 함구하고 있습니다. GPT-3는 약 1750억 개의 파라미터를 가지고 있지만 메가트론 튜링 NLG, 구글의 PaLM과 같은 새로운 고밀도 모델은 5000억 개 이상의 파라미터를 가지고 있습니다. 대형화가 반드시 뛰어난 것은 아닙니다.GPT-4는 리소스를 보다 효율적으로 활용하고 더 뛰어난 기능을 제공하는 데 중점을 두고 있을지도 모릅니다."라고 그는 계속합니다. OpenAI는 GPT-3의 개량판을 이미 출시했습니다.예를 들어 Instruct GPT 모델은 사용자의 의도, 사용자가 수행하고자 하는 작업을 더 잘 이해하고 더 명확한 지시를 따르고 있습니다. 또한 소스코드를 생성하는 GPT 기반 모델인 Codex와 코드 또는 텍스트 내용을 편집하거나 삽입하기 위한 새로운 기능도 출시되고 있습니다. 또, 플래그를 세우거나 잠재적으로 유독한 컨텐츠를 생성하는 등, AI의 안전성에의 투자도 행해지고 있습니다」라고 밴더는 계속합니다. 그래서 핵심기술의 발전은 단순히 더 큰 언어모델을 출판하기보다는 이런 분야에 따른 것이 될 것으로 저는 실제로 기대하고 있습니다.

 

GPT-4 vs GPT-3

GPT-4와 전작의 가장 직접적이고 놀라운 차이는 현재 모델에서 사용되고 있는 1750억과 100조의 머신러닝 파라미터를 사용하고 있다는 점입니다. GPT-4는 GPT-3보다 훨씬 많은 파라미터를 갖게 되는데, 기술 또한 '큰 것이 좋다'는 개념에서 멀어지고 있습니다. 피나스트라 씨의 인공지능과 기계학습 책임자인 애덤 리버먼 씨는 미래에 파라미터와 모델의 크기가 더 작아질 것으로 기대한다고 말합니다. 컴퓨팅 향상은 기대하지만 몇 번의 학습으로 강화된 멀티태스킹을 실현하고자 합니다. GPT-3에서는 커뮤니티는 탄탄한 프롬프트에서 많은 성공을 거두었습니다.우리는 GPT-4가 인간이 만든 프롬프트의 오류에 대해 보다 공고해지기를 기대합니다라고 그는 덧붙였습니다.

Fokerd는 이에 동조하여 GPT-3는 사용자가 자연어를 입력하는 것을 가능하게 하였으나 좋은 결과를 가져오는 방법으로 프롬프트를 작성하려면 아직 약간의 스킬이 필요했다고 합니다. "GPT-4는 사용자의 의도를 추론하는 데 훨씬 뛰어날 것입니다"라고 그는 덧붙입니다. OpenAI는 또한 GPT-3의 단점 중 상당수가 차세대 모델에 의해 해결될 것으로 기대하고 있습니다. 예를 들어 GPT-3는 과거에 일반인에게 공개하기에는 너무 위험하다고 생각되었습니다. 왜냐하면 성숙하지 않은 버전이 가짜 뉴스 기사를 생성하는 것이 발견되었기 때문입니다. 이 모델은 또한 특정 종교나 성별에 대한 인종차별을 보였다는 비난을 받았습니다. 올해 초 출시된 최신 버전에서는 라벨러라고 불리는 인간 도우미를 사용하여 AI 학습을 지원하는 RLHF(Human Feedback)를 통한 강화 학습을 사용하고 있습니다. GPT-4 개발에 있어서 이러한 기술이 사용되고 있는 것은 거의 틀림없습니다.이는 지난 버전의 이전 버전이 받았던 것과 같은 비판을 피하기 위해서입니다.

 

GPT-4의 사업상의 장점

리버맨씨에 의하면, GPT-3는, 코드의 완성으로부터 세액 공제의 발견까지, 비즈니스를 의미하는 것을 커뮤니티에 나타냈습니다. GPT-4의 등장은 AI가 서툴지 않게 되면서 인간화가 진행되고 있다는 이해로 이어질 것입니다. 당사의 GPT 언어 모델의 새로운 버전과 개량판에 의해 언어 모델링의 힘을 활용한 다양한 분야의 유스 케이스의 강화가 기대되고 있습니다. GPT-3가 서브 최적으로 실행된 유스 케이스는 자유투 라인에서 두 번째 샷이 있고 새로 등장하는 유스케이스를 모두 볼 수 있다는 사실에 흥분됩니다라고 그는 덧붙였습니다. Fokerd에게 인터넷 사용자들은 GPT-4의 등장으로 AI에 의해 생성된 콘텐츠를 더 많이 보게 될 것입니다.이것은 이미 일어나고 있는 일이지만 더 나은 결과에 의해 가능해진다, 그 사용량이 폭발적으로 증가할 것입니다.