인공지능 연구를 훨씬 더 에너지 효율적이게 만들다

딥러닝의 대가

딥러닝은 고급 이미지 인식, 보드 게임 챔피언인 알파고, GPT-3와 같은 언어 모델과 같은 머신 러닝의 가장 주목받는 성공 뒤에 있습니다. 그러나 이 놀라운 성능은 대가를 치릅니다. 딥 러닝 모델을 훈련하려면 엄청난 양의 에너지가 필요하다는 것입니다. 이제, 새로운 연구는 클라우드 플랫폼을 사용하여 딥 러닝 알고리듬을 훈련하는 과학자들이 어떻게 그들이 소비하는 에너지, 따라서 이 작업이 생성하는 배출물을 극적으로 줄일 수 있는지를 보여줍니다. 클라우드 설정에 대한 간단한 변경이 핵심입니다.

 

이 기술이 환경에 미치는 영향을 연구하는 첫 번째 논문이 3년 전 발표된 이후, 연구자들 사이에서 소비된 에너지와 그들의 작업에서 발생하는 배출물을 스스로 보고하려는 움직임이 커졌습니다. 정확한 숫자를 갖는 것은 변화를 만들기 위한 중요한 단계이지만, 실제로 그 숫자를 모으는 것은 어려울 수 있습니다. 측정할 수 없는 것은 개선할 수 없습니다라고 시애틀의 앨런 AI 연구소의 연구 과학자 제시 닷지는 말합니다. 배출량을 줄이는데 진전을 이루고 싶다면, 우리에게 첫 번째 단계는 좋은 측정치를 얻는 것입니다.

이를 위해 앨런연구소는 최근 마이크로소프트, AI 기업 허깅페이스, 3개 대학과 협업해 마이크로소프트의 클라우드 서비스인 애저에서 구동되는 머신러닝 프로그램의 전력 사용량을 측정하는 도구를 만들었습니다. 이를 통해 새로운 모델을 구축하는 Azure 사용자는 모델 선택에서 교육 및 사용에 이르기까지 프로젝트의 모든 단계에서 병렬로 계산을 실행하는 데 특화된 컴퓨터 칩인 그래픽 처리 장치(GPU)에 의해 소비되는 총 전력을 확인할 수 있습니다. 그것은 사용자에게 머신 러닝 프로그램의 에너지 영향에 대한 정보에 대한 액세스를 제공하는 최초의 주요 클라우드 공급자입니다.

 

기계 학습 알고리즘

로컬 서버에서 실행되는 기계 학습 알고리즘의 에너지 사용 및 배출량을 측정하는 도구가 이미 존재하지만 연구자가 마이크로소프트, 아마존, 구글과 같은 회사에서 제공하는 클라우드 서비스를 사용할 때는 이러한 도구가 작동하지 않습니다. 이러한 서비스는 사용자에게 활동이 소비하는 GPU, CPU 및 메모리 리소스에 대한 직접적인 가시성을 제공하지 않으며, 기존 툴에는 정확한 견적을 제공하기 위해 이러한 값이 필요합니다.

지난 10월 첫 선을 보인 새로운 툴은 현재 배출량이 아닌 에너지 사용을 보고하고 있습니다. 그래서 다른 연구원들은 에너지 사용을 배출량에 대한 지도를 만드는 방법을 알아냈고, 그들은 6월 말 주요 컴퓨터 과학 회의인 FACCT에서 그 연구에 대한 동료 논문을 발표하였습니다. 연구자들은 와트타임이라는 서비스를 사용하여 11개의 머신러닝 모델을 실행하는 클라우드 서버의 우편번호를 기반으로 배출량을 추정하였습니다.

 

그들은 연구원들이 특정 지리적 위치와 하루 중 특정 시간에 서버를 사용하면 배출량을 상당히 줄일 수 있다는 것을 발견했습니다. 소규모 기계 학습 모델 훈련에서 배출되는 배출량은 그리드에서 더 많은 재생 가능 전력을 사용할 수 있는 시점에 교육이 시작되면 최대 80%까지 줄일 수 있고, 대형 모델에서의 배출량은 재생 가능 전력이 부족할 때 잠시 중단했다가 더 풍부할 때 다시 시작하면 20% 이상 줄일 수 있습니다.

에너지를 배려한 클라우드 사용자는 3대 클라우드 서비스(Microsoft Azure, Google Cloud, Amazon Web Services) 선호 설정을 통해 이러한 요인을 조정함으로써 배출량을 줄일 수 있습니다. 그러나 기계학습이 기후변화에 미치는 영향을 연구하는 조직인 ClimateChangeAI의 공동 창설자인 LynnKaack는 클라우드 프로바이더는 이러한 프로젝트를 자동으로 일시 중단하고 재부팅하여 배출량을 줄이도록 최적화할 필요가 있다고 말합니다.

"물론 알고리즘을 실행하는 타이밍을 스케줄할 수는 있지만, 많은 수작업입니다."라고 Kaack는 말합니다. "아마도 이를 실제로 규모에 맞게 실행하려면 정책적인 인센티브가 필요합니다." 그에 따르면 카본 프라이싱과 같은 정책을 통해 클라우드 프로바이더는 자동 일시정지와 재시작을 가능하게 하고 사용자가 참여할 수 있도록 하는 워크플로우를 구축할 수 있습니다.

 

낙관적인 연구

특히 대부분의 국가가 화석연료에 의존하는 동안 기계학습을 보다 친환경적으로 만들기 위해서는 아직도 많은 작업이 필요합니다. 그리고 Dodge씨에 따르면 Azure의 툴은 GPU에 의해 소비되는 전력만을 측정합니다. 머신러닝의 소비전력을 보다 정확하게 계산하면 물리서버 구축과 냉각을 위한 에너지는 물론 CPU와 메모리의 사용량도 계산된다. 습관을 바꾸는 데는 시간이 오래 걸리는 기계학습 프로그램을 실행하고 있는 애저 사용자 중 에너지 측정 도구가 지난 10월 출시된 이후 이 도구를 사용하는 사람은 13%뿐이라고 Dodge 씨는 말합니다. Raghavendra Selvan는 연구자들을 설득하여 머신러닝 연구에 이 툴을 사용하도록 하는 것은 어렵다고 말했습니다.

하지만 그는 낙관적이다. 더 많은 연구자들이 Neur와 같은 주요 회의에 의해 장려되고 논문에서 에너지 사용을 보고하는 습관을 기르고 있습니다.권장되는 IPS. 셀번 씨에 따르면 향후 프로젝트를 계획할 때 더 많은 사람들이 이러한 에너지 비용과 배출 비용을 고려하기 시작하면 머신러닝이 기후변화에 미치는 영향을 줄이기 시작할 수 있습니다.