엔비디아가 세계 최고의 기업으로 우뚝 섰습니다. 컴퓨터 게임용 그래픽 가속기를 만드는 회사가 구글, 애플, 마이크로소프트, 인텔 등 절대 강자들을 제치고 최고 자리에 오르리라고 예상했던 사람은 얼마나 될까요?
부끄럽게도 오랫동안 IT를 취재했던 저도 엔비디아의 패권을 전혀 예상하지 못했습니다. 하지만 엔비디아의 굴기는 비트코인 채굴광풍시부터 징조가 있었습니다. 오직 눈 밝은 사람들만 엔비디아가 단순한 그래픽가속기 업체가 아니라, 병렬 컴퓨팅을 가능하게 하는 칩과 그것을 게임외에 다양한 방면에 활용할 수 있는 소프트웨어를 소유한 다크호스라는 점을 알았습니다.
엔비디아를 현재의 위치로 끌어올린 주인공은 역시 엔비디아 창업자이자 미국 S&P 500대 기업중에서 최장수 CEO를 맡고 있는 젠슨 황입니다.
‘생각하는 기계’(저자 스티븐 위트)는 젠슨 황이 어떤 인물인지, 엔비디어를 어떻게 인공지능시대 독점 기술을 가진 기업으로 성장시켰는지를 상세하게 소개하고 있습니다.
이 책에서 2024년 노벨물리학상 수상자 제프리 힌턴 교수 연구팀과 엔비디아의 인연을 담은 부분을 골라 읽었습니다. 엔비디아가 인공지능시대 핵심 기업으로 발돋움하는 결정적인 계기가 바로 힌턴 연구팀 소속이었던 알렉스 크리제브스키와 엔비디아의 만남이었습니다.
1.알렉스 크리제브스키와 제프리 힌턴
제프리 힌턴이 알렉스를 처음 만난 것은 2000년대 후반이었다. 당시 그는 부모와 함께 살며 토론토 대학교에서 대학원 과정을 이수하고 있었다.
알렉스 크리제브스키는 소련의 유대인 가정에서 태어났다. 그의 고향은 현재 전쟁으로 위협받는 우크라이나 동부 지역이며, 어린 시절 캐나다로 이민을 왔다. 그의 모국어는 러시아어였지만 영어를 완벽하게 구사했다.
1.1 알렉스의 방뮨
어느날 알렉스가 제프리 힌턴의 연구실에 불쑥 찾아와 제프리 힌턴의 연구팀에 합류할 수 있는지 물었다. 이 요청은 다소 무례한 것이었다. 제프리 힌턴은 신경망을 개발하는 데 수십 년을 바친 전설적인 학자였다. 그는 1986년 발표된 획기적인 역전파 논문의 공동 저자였으며, 수십 년 동안 주류 AI 연구자들의 무관심과 심지어 적대감 속에서도 이 접근법을 지지해 온 사람이었다.
1.2 힌턴의 경고
그는 알렉스를 제자로 받아들이기 전에 신경망 연구가 완전히 외면받고 있다는 사실을 먼저 경고했다. 그의 연구팀이 기존 방법론과 경쟁할 만한 결과를 내놓고 있었지만, 그들의 논문은 자주 학술지 게재를 거절당했다. “신경망은 말도 안 되는 접근으로 취급되었죠.” 제프리가 말했다.
2.알렉스 크리제브스키와 일리야 수츠케버 만남
알렉스 크리제브스키는 주저하지 않고 제프리 힌턴의 연구팀에 합류했다. 제프리는 알렉스를 연구원인 일리야 수츠케버Ilya Sutskever와 팀을 이루게 했다. 일리야 수츠케버 역시 구 소련 출신의 러시아어를 사용하는 유대인 이민자였다.
하지만 두 사람은 외모도 성격도 완전히 달랐다. 일리야는 탄탄한 체격에 눈썹이 짙고 덥수룩했고, 깊은 갈색 눈에 장난기 어린 미소를 띠곤 했다.
그는 제프리 힌턴의 가장 열렬한 추종자로서 언젠가 신경망이 인간 지능을 능가할 것이라고 주장했다. 그런 주장은 당시에는 제프리 힌턴조차 하지 않던 말이었다.
힌턴은 일리야와 알렉스에게 엔비디아의 GPU를 활용해 컴퓨터에게 ‘보는 법’을 학습하게 만드는 것을 맡겼다.
3.하나를 무료로 제공할 수 있습니까?
힌턴은 신경정보처리시스템 학회에서 병렬 컴퓨팅 프로세서에서 신경망을 구동하는 것이 AI의 미래이며, 당장 하던 일을 멈추고 엔비디아 GPU를 사야 한다고 선언했다.
이후 그는 엔비디아에 이메일을 보냈다. “방금 1,000명의 머신러닝 전문가들에게 엔비디아 그래픽카드를 사라고 말했습니다. 내게 하나를 무료로 제공할 수 있습니까?” 엔비디아는 거절했다.
당시 엔비디아는 슈퍼컴퓨팅 응용 분야를 다방면으로 모색하고 있었지만, AI를 전문적으로 연구하는 직원은 단 한 명도 없었다.
4.합성곱 신경망
제프리 힌턴은 두 사람에게 합성곱 신경망(CNN)을 활용한 이미지 인식 시스템을 개발하라고 지시했다. 이 신경망은 수학적 필터를 이용해 이미지의 핵심적인 세부 정보를 포착하는 방식이었다. 제프리는 두 사람에게 단순히 이기라고 요구한 것이 아니라 압도해야만 한다고 강조했다.
4.1 알렉스의 활약
알렉스는 이 분야에 대한 배경지식이 전혀 없었지만, 병렬 프로그래밍 기술을 빠르게 익혔다. 마치 그의 두뇌가 모든 장소에서 동시에 스타벅스로 가는 법을 이해한 듯했다.
“그는 누구보다도 GPU에서 합성곱 신경망을 훨씬 더 효율적으로 실행하는 방법을 구현해 냈어요.” 제프리는 이렇게 회상했다. “그는 정말 마법사 같은 존재였습니다.” 신경망은 그에게 컴퓨터 지능이 작동하는 가장 당연한 방식처럼 보였다.
5.연산 능력 최대한 확장
과거에는 신경망 접근 방식이 언제나 하드웨어의 한계에 부딪혔다. 하지만 엔비디아의 GPU는 인텔 컴퓨터로 1시간이 걸릴 작업을 단 30초 만에 수행했고, 생물학적 진화로는 10만 년이 걸릴 일을 해냈다.
일리야는 알렉스가 활용할 수 있는 연산 능력을 최대한 확장해야 한다고 판단했다.
이는 예리하며, 이후 계속하여 적용된 놀라운 통찰이었다. 제프리 힌턴은 이에 대해 이렇게 설명했다. “일리야는 다른 사람들이 오랜 시간이 지나야 깨닫는 것들을 거의 즉각적으로 알아차립니다.”
6.게임용 GPU로 인공지능시대를 열다
두 사람이 가진 돈을 모두 합쳐 구매할 수 있었던 것은 지포스 GTX580 2개뿐이었다. 지포스 GTX580은 당시 온라인에서 개당 500달러 정도에 판매되던 게이밍 GPU였다. 지포스 카드가 도착했을 때, 그것들은 마치 영화 <에이리언>에 나온 소품처럼 보였다.
6.1젠슨 황이 꿈꾸던 고객
알렉스는 자신의 침실에 있던 데스크톱 컴퓨터에 GPU 2개를 장착한 다음 약 일주일 동안 연산을 돌리기 시작했다. “사실 전기 요금이 꽤 많이 나왔는데, 그건 그의 부모님이 대신 냈어요.” 제프리 힌턴이 말했다.
알렉스는 마침내 젠슨 황이 꿈꾸던 고객이 있었다. 너무 가난해서 개조된 그래픽카드로 실험해야만 하는 프로그래머. 동료조차도 그에 대해 거의 알지 못하는 은둔형 천재.
진정한 괴짜 과학자. 기존 질서를 거부하는 이단아. 그리고 마침내 쿠다(CUDA)의 킬러 앱을 만들 인물. 바로 알렉스 크리제브스키였다.
7.이미지넷의 역할
알렉스는 신경망을 훈련시키기 위해 이미지넷 데이터베이스를 사용했다. 이미지넷은 스탠퍼드 대학교의 컴퓨터 과학자 페이페이 리Fei-Fei Li가 구축한 이미지 데이터셋이었다.
온라인에서 사용할 수 있는 학습 데이터셋이 너무 빈약하다는 사실에 실망한 페이페이 리는, 아마존의 크라우드 소싱 시장인 미케니컬 터크를 이용해 2만 2,000개 카테고리에 걸쳐 1,500만 장 이상의 이미지를 수작업으로 라벨링하도록 했다.
8.알렉스의 신경망
훈련이 시작될 때만 해도 뉴런들은 무작위로 연결되어 있었다. 그러나 학습이 진행되면서 점차 복잡하고 정교한 패턴으로 재배열되었고, 마침내 보는 법을 배우기 시작했다.
훈련이 시작된 첫 나노초 동안, 알렉스의 신경망은 데이터셋에서 무작위로 선택된 이미지를 보았다. 그리고 그 이미지가 수천 개의 카테고리 중 어디에 속하는지 분류하라는 과제를 받았다. 그 이미지는 가오리일 수도 있고, 스코티시 테리어일 수도 있고, 골프 카트일 수도 있었다
8.1알렉스에게는 쿠다(CUDA)가 있었다.
과학자들은 반복적인 행렬 곱셈 연산을 상상조차 할 수 없을 정도로 거대한 루빅스 큐브를 푸는 것에 비유하곤 했다. 이전까지 신경망을 훈련시키려는 모든 시도가 항상 이 지점에서 한계를 맞이했다.
알렉스에게는 엔비디아의 쿠다를 이용해 이 복잡한 연산 문제를 해결할 수 있었다.
단 몇 분의 몇 초 만에 수학적 연산이 끝나고, 신경망은 두 번째 이미지를 보게 되었다. 그다음 세 번째, 네 번째…, 수천 개, 수백만 개의 이미지가 신경망에게 제시되었다.
8.2 침실은 초고속 진화의 실험장
알렉스의 침실은 초고속 진화의 실험장이 되었다. 신경망을 훈련하는 과정은 경이로운 일이었다. 알렉스의 신경망은 여러 계층으로 이루어져 있었고, 각 계층은 점진적으로 데이터의 서로 다른 특징을 구별하는 법을 배워나갔다.
어떤 계층은 모양을 학습했고, 다른 계층은 색상을 배웠고, 또 다른 계층은 대칭의 중요성을 익혔다.
9.이미지 인식 성공률 급상승
지포스 GPU의 냉각팬은 끊임없이 돌아갔고, 약 44데시벨의 소음을 냈다. 귀가 멍멍할 정도의 소음은 아니었지만, 알렉스의 밤잠을 방해할 정도이기는 했다.
시간이 흐르면서 신경망의 이미지 인식 성공률이 조금씩 상승했다. 처음 0%에서 시작해 1%, 10%, 40%, 60%로 올라갔고, 80%에서 안정되었다.
10.AI 이미지 인식 대회
스탠퍼드 대학교의 페이페이 리가 이끄는 이미지넷 연구팀은 매년 AI 이미지 인식 대회를 개최하고 있었다. 알렉스는 자신의 모델이 실제로 경쟁력을 갖추었는지 확인하기 위해, 지난해 대회 데이터를 입력해 보았다.
이 데이터는 알렉스의 신경망이 한 번도 본 적 없는 것이었다. 그리고 결과는 압도적이었다. 신경망은 지난해 참가한 모든 경쟁 모델을 가볍게 눌렀다.
10.1슈퍼비전
머신러닝 분야에서는 이미지넷처럼 라벨링된 데이터셋을 이용한 훈련을 ‘지도 학습supervised learning’이라고 불렀다. 그래서 알렉스 크리제브스키는 자신의 신경망을 슈퍼비전SuperVision이라고 명명했다. 제프리 힌턴과 일리야 수츠케버는 슈퍼비전의 결과에 몹시 충격을 받았다.
10.2 인간이 1000억 년 동안 계산해야 할 분량
최적의 환경이라면 이론상 2개의 지포스 카드는 초당 3조 회의 연산을 수행할 수 있었다. 계산해 보면, GPU는 불과 일주일 만에 개별 연산을 100경(10^18) 회 수행한 셈이었다.
인간이 1000억 년 동안 계산해야 할 분량이 고작 일주일 만에 슈퍼비전이라는 인공 신경망에 집약된 것이었다. “쿠다 없이 머신러닝을 한다는 건 너무 골치 아픈 일이었을 겁니다.” 제프리 힌턴은 말했다.
11.2012년 이미지넷 대회 우승
알렉스 크리제브스키는 슈퍼비전을 세상에 알리는 방법으로 이미지넷 대회에서 우승하는 것을 택했다. 대회를 앞둔 몇 주 동안 제프리 힌턴과 일리야 수츠케버는 들뜬 마음으로 토론토 연구실을 이리저리 서성였다.
11.1 슈퍼비전 덕분에 엔비디아가 뜰 것
토론토 연구팀은 슈퍼비전이 엔비디아의 GPU 덕분에 탄생했다면, 이제 엔비디아가 슈퍼비전 덕분에 더 큰 혜택을 보게 될 것이라는 점을 깨달았다. 신경망이 요구하는 병렬 컴퓨팅 능력은 끝이 보이지 않을 정도로 계속 증가할 것이기 때문이었다.
“우리는 대회에 제출하기도 전에 이미 확신하고 있었어요. 앞으로 과학적 연산의 상당 부분이 머신러닝으로 넘어가게 될 것이라는 사실을 말입니다.” 제프리 힌턴이 말했다.