인공지능의 모방에서 벗어나다

 

텍스트와 이미지의 생성

컴퓨터에 디지털 그림이나나 시를 짓도록하고 당신이 원하는 것을 기꺼이 손에 넣을 수 있다는 것을 상상해 보시길 바랍니다. 다양한 주제에 대해 수다를 떨고 그것이 진정한 교류라고 느끼는 것을 상상해 보시길 바랍니다.. 과거 SF였던 것이 현실이 되고 있다. 지난 6월 구글 엔지니어인 Blake Lemoine은 워싱톤포스트에 구글의 AI 챗봇인 LaMDA가 현명할 것으로 확신한다고 말했습니다. 알고리즘이 과거 분명히 인간이라고 생각했던 것과 같은 아웃풋을 생성하는 일이 점점 능숙해지고 있어 눈이 멀어지기 쉽다는 것이다. 확실히 컴퓨터에 설득력 있는 텍스트와 이미지를 생성시키는 것은 훌륭한 일이지만 그 자체는 감각이나 인간과 같은 지성의 증거가 아닙니다. 현재의 AI 시스템은 우리의 온라인 마인드에 거울을 제공하고 있습니다. 나르시스처럼 항상 아첨은 아니지만 반사를 보고 있으면 망설일 때가 있습니다. 이러한 알고리즘에는 머리가 없는 복사 이상의 것이 있는 것입니까? 답은 간단하지 않습니다.

 

AI 연구는 과거 단편적이거나 특정 해결책이 필요했던 많은 문제에 대처하는 방법에 집중하고 있습니다. 즉, 대량의 데이터에 대해서 대규모 머신러닝 모델을 트레이닝하고 명확하게 설계되지 않은 폭넓은 태스크를 실행하는 것입니다. 스탠퍼드 대학의 연구자 그룹은, 이 경향의 중요성을 파악하기 위해 기초 모델이라는 암시적인 문구를 만들어 냈습니다. 다만 몇 가지 중요한 특징을 공유하는 모델의 패밀리를 대략적으로 가리키는 보다 중립적인 라벨 '큰 사전 훈련 모델'을 선호할 수도 있습니다. 그들은 자기 감시에 의해 훈련되고, 즉 수동으로 데이터에 라벨을 붙이지 않고 인간에게 의존하지 않고 훈련되며, 추가적인 훈련 없이 새로운 작업에 적응할 수 있습니다. 게다가 규모와 훈련 데이터를 확대하는 것만으로 기본적인 아키텍처를 대폭 변경할 필요가 없으며 기능 향상에 놀라울 정도로 효과적이라는 것이 증명되고 있습니다. 그 결과 최근 AI 진보의 상당수는 획기적인 이론 혁신이 아닌 순수한 엔지니어링 능력에 의해 추진돼 왔습니다.

 

사전 훈련 모델

일부 큰 사전 훈련 모델은 텍스트에 대해서만 교육되고 있습니다. 불과 몇 년 사이에, 이 언어 모델들은 일관성 있는 단락을 쓰고 농담을 설명하고 수학 문제를 해결하는 신기한 능력을 보여주었습니다. 지금까지 AI 연구에 앞장서고 있는 모든 대형 테크 기업은 독자적인 대형 언어 모델을 양성하기 위해 큰 자금을 투입했습니다. OpenAI는 2020년 GPT-3로 길을 열었지만 최근에는 구글의 PaLM, 메타(옛 페이스북)의 OPT, 딥 마인드의 Chinchilla 등 다른 거대한 모델들이 뒤를 이었습니다.

다른 대형 모델은 텍스트뿐만 아니라 이미지나 비디오에 대해서도 훈련이 되어 있습니다. 최근 몇 달 사이에 이들 새로운 멀티모달 모델 중에는 예상치 못한 능력으로 인터넷을 급습한 것도 있습니다. OpenAI의 DAL-E2와 Google의 Imagenand Parti는 거의 모든 캡션에서 일관성 있고 스타일리시한 일러스트를 작성할 수 있으며 DeepMind의 Flamingo는 이미지를 설명하고 콘텐츠에 관한 질문에 답할 수 있습니다. 대형 모델들도 언어와 비전을 넘어 구현된 대리점 영역으로 모험적으로 진출하고 있습니다. 딥마인드는 Gato라 불리는 모델을 설계해 텍스트나 이미지에 더해 버튼 누름, 자체 수용 입력, 관절 토크 등을 훈련하였습니다. 그 결과 비디오 게임을 하거나 실세계 로봇을 조종할 수 있습니다.

 

이들 모델이 할 수 있다는 사실에 감명받기 쉽습니다. PaLM, 달-E2, 가토는 AI의 눈앞 미래에 대한 새로운 억측을 부추기고 있습니다. 스케일링만 하면 된다는 자극적인 구호 뒤에 모인 연구자도 있습니다. 이 모델들과 유사한 모델을 더욱 확대함으로써 AGI 즉 인공지능에 이를지도 모른다는 생각입니다.

하지만 많은 연구자들은 큰 사전 훈련된 모델에 관해서는 의인화의 자연스러운 경향을 방치해서는 안 된다고 경고하고 있습니다. 특히 영향력 있는 기사에서 에밀리 벤더, 팀니트 게브르, 동료들은 언어 모델을 '고집 앵무새'와 비교해 훈련 데이터 샘플을 무작위로 꿰맨다고 주장했습니다. 앵무새는 의미하는 바를 이해하지 못한 채 문구를 반복합니다. 따라서 연구자들은 언어 모델 때문에 그들의 비판은 DALL-E2와 같은 멀티모달의 상대로도 확대될 수 있다고 주장합니다.

대규모 사전 훈련 모델이 텍스트나 이미지를 이해하는가에 대한 논의가 계속되고 있는 것은 과학자나 철학자 자신이 우리와 같은 생물의 언어와 시각적 이해의 본질에 대해 의견이 일치하지 않는다는 사실로 인해 복잡해지고 있기 때문입니다 많은 연구자들이 이해를 위한 '근거부여'의 중요성을 강조해 왔지만, 이 용어는 다양한 아이디어를 포함할 수 있습니다. 여기에는 언어 표현과 지각 표현 사이에 적절한 연관성을 갖는 것, 인과관계의 상호작용을 통해 이들을 현실 세계에 고정하는 것, 커뮤니케이션 의도를 모델링하는 것이 포함됩니다. 진정한 이해는 의식을 필요로 한다는 직감을 갖는 사람도 있고, 이들을 두 가지 다른 문제로 생각하는 사람도 있습니다. 연구자들끼리 엇갈릴 위험이 임박한 것은 당연합니다.

 

인지 차이의 인정

그렇다고 훈련받은 대형 모델이 현재 인간의 방식으로 언어와 세계를 이해하고 있다고 보기는 어렵습니다. 아이들은 책만 읽는 것만으로는 말의 의미를 공백 속에서 배우지 않습니다. 이들은 세계와 교류하며 그들의 행동에서 풍부하고 다원적인 피드백을 얻는다. 그들은 또한 어른들과 교류하며 어른들은 그들의 발달에 있어서 매우 많은 감독된 학습을 제공합니다. AI 모델과 달리 학습을 멈추지 않습니다. 이 과정에서 지속적인 목표, 욕망, 신념, 개인적인 기억을 형성하지만 이 모든 것이 여전히 AI에는 크게 부족하다.

큰 사전 훈련 모델과 인간의 인지 차이를 인정하는 것은 중요합니다. 이런 모델은 AI 전도사들이 마법과 같은 능력을 갖고 있거나 확장성을 높여 인간 수준의 일반 지능에 도달하기 직전에 묘사되는 경우가 많습니다. 이로 인해 훈련이 끝난 대규모 모델이 달성하지 못하는 것을 달성할 수 있다고 믿고 출력 고도화에 자신감 과잉이 된다는 오해를 불러일으키게 됩니다. 회의론자들이 '신비한 앵무새'의 비유를 통해 제시하는 대안적인 그림은 과대광고를 뚫고 부풀어오른 기대를 누그러뜨리는 장점이 있습니다. 또 소비자용 제품에 대규모 사전 훈련 모델이 도입되면 무슨 일이 벌어질지에 대한 심각한 윤리적 우려도 강조하고 있습니다.