로봇같은 하드웨어도 기계이지만, 인공지능과 같은 소프트웨어도 머신(Machine), 즉 기계입니다. 세상을 삼킬듯한 인공지능은 바로 기계학습 발명에서 출발했습니다.
기계학습(Machine Learning)이란 사람이 만든 인공물인 소프트웨어 기계가 사람처럼 스스로 학습하고 그 학습을 바탕으로 지식과 지능을 갖추는 것을 뜻합니다.
기계학습의 출발은 사람의 뇌작동 연구에 두고 있습니다. 프랭크 로젠블랫이 인간의 뇌 작동 원리를 본 따서 만든 퍼셉트론이 인공지능의 원형입니다. 흥미로운 점은 수학이 뇌와 기계의 학습 비밀을 푸는 열쇠 역할을 한 점입니다.
과학저술가인 아닐 아난타스와미는 오늘날의 AI를 있게 한 알고리즘을 구성하는 핵심 수학을 상세하게 살펴봄으로써 기계 안에서 어떤 과정이 작동하고 있는지를 잘 보여줍니다. 실제 대수학, 미분적분, 확률통계, 가우스분포, 선형대수(벡터) 등 수학이 없었다면 인공지능도 불가능했을 것입니다.
고교졸업이후 수학을 만나지 못한 문과출신은 이 책을 읽기가 수월하지 않습니다. 하지만 어려운 수학과 과학을 쉽게 풀이하는데 탁월한 재능을 발휘하는 저자 덕분에 인공지능의 깊숙한 곳으로 여행을 즐길 수 있습니다.
1장 ‘패턴을 찾고 말 테다’편을 읽고 10문단으로 요약했습니다.
1.오리의 각인 현상 연구
오스트리아 과학자 콘라트 로렌츠는 닐스의 모험에 매료되어 기러기가 되고 싶어 했다. 환상을 이루지 못한 로렌츠는 갓 부화한 오리를 키우는 것에 만족했다. 새끼오리는 로렌츠를 졸졸 따라다니기 시작했다.
각인이라는 현상이었다.
1.1 노벨 생리의학상 수상
로렌츠는 생태학자가 되어 동물의 행동, 각인에 대한 연구를 개척했다. 1973년 생태학자 카를 폰 플슈와 니콜라스 틴베르헌과 함께 노벨 생리의학상을 수상했다. 개별적 사회적 행동 패턴의 형성과 인식에 대한 발견 공로로 상을 받았다.
1.2 데이터에서 패턴을 뽑아내어 학습하는 능력
인공지능 연구자들은 새끼 오리의 각인 비결을 알 수 있다면 팔 한쪽과 다리 한쪽을 기꺼이 내 줄 것이다. 오늘날 인공지능이 새끼 오리만큼 수월하고 효율적으로 해내기까지는 아직 요원하지만 공통점이 하나 있다.
그것은 데이터에서 패턴을 뽑아내어 학습하는 능력이다.
2.인공지능의 원조, 프랭크 로젠블렛의 퍼셉트론
1958년 코넬대 심리학자 프랭크 로젠블랫은 미국 해군 연구소의 후원을 받아 퍼셉트론을 개발하였다. 그는 뉴욕타임스와 인터뷰를 하며서 “인간 두뇌처럼 생각하는 최초의 장치가 될 것”이라고 호언장담했다.
하지만 퍼셉트론은 그의 호언장담을 지키지 못했다.
2.1 기념비적 연구
그럼에도 불구하고 로젠블랫의 연구는 기념비적이었다. 오늘날 인공지능 강연에서 퍼셉트론이 빠지는 법이 없다.
뉴욕타임스는 퍼셉트론 소개 기사에서 “로젠블랫 박사는 기계가 왜 배우는지를 매우 기술적인 용어로 설명할 수 있다고 말했다”라고 소개했으나, 실제 기술적 사항에 대해서는 전혀 언급하지 않았다.
기계가 학습할 수 있는 이유는 수학과 전산학의 이례적인 만남덕분이며 물리학과 신경과학도 거들었다.
3.뇌기반 알고리즘을 지향
1950년대 말 프랭크 로젠블렛이 개발한 퍼셉트론이 장안의 화제가 된 것은 데이터를 살펴보는 것만으로 패턴을 학습하는 최초의 쓸만한 뇌기반 알고리즘을 지향했기 때문이다.
연구자들은 퍼셉트론이 데이터에 숨겨진 패턴을 유한한 시간안에 반드시 찾아 내리라는 것을 입증했다. 연산분야에서 이런 확실성은 황금만큼 귀하다.
4.패턴에 대한 학습과 선형방정식
데이터의 패턴이란 무엇일까? 패턴에 대한 학습은 무슨뜻일까?
선형방정식의 가중치를 이해하는 것이 출발이다. 가중치를 알고리즘적으로 알아낼 방법이 있다는 것은 그 알고리즘이 가중치를 학습한다는 뜻이다.
4.1
주택 침실 개수, 전체 면적, 주택가격 사이에 선형 관계가 존재한다고 가정하자.
주택 가격의 기본 데이터로부터 선형방정식의 가중치를 학습하면 침실 개수와 면적이 주어졌을 때 주택 가격을 예측하는 간단한 모형을 만들 수 있다.
5.지도학습
가중치 학습은 기계학습의 출발인 단순화된 형태의 지도학습이다. 데이터 표본에는 입력 집합과 출력 집합의 상관관계가 숨어 있다. 주석이나 라벨이 붙어 있는 데이터다. 훈련 데이터이기도 하다.
이때 상관관계를 알면 훈련 데이터에 들어 있지 않은 새로운 입력에 대해서도 예측 결과를 낼 수 있다.
5.1
독립변수(x1, x2)가 주어졌을 때, 독립변수(y)의 값을 예측하는 모형(또는 방정식)을 만들어낸 것은 회귀라는 특별한 문제해결법이다.
5.
기계가 왜 배우는지 이해하게 되면 새끼 오리, 인간이 어떻게 학습하는지도 이해하게 될 것이다.
지도학습 예제를 이용한 첫 단계는 심층 신경망(딥 신경망)을 이해하는 출발점이다. 앞으로 벡터, 행렬, 선형대수, 미적분, 확률, 최적화 이론 등을 배우게 될 것이다.
6.퍼셉트론의 뿌리
워런 매컬러라는 신경해부학자는 원숭이 뇌 부위의 연결지도를 작성하면서 뇌가 연산장치라면 뇌는 이런 논리를 어떻게 구현하는 것인지를 놓고 고민했다.
그는 1941년 일리노이대에서 월터 피츠라는 10대 영재를 만나 그와 함께 연구를 시작했다.
둘은 1943년 ‘신경활동에 내재하는 관념들에 대한 논리연산’이라는 논문을 통해 MCP모델을 발표했다.
6.1
두 사람은 인공 신경세포, 뉴로드(뉴런+노드)를 이용하여 디지털 연산 구성요소인 AND, OR, NOT 등 기본적인 불 논리 연산(boolean logical operation)을 구현했다.
6.2
이들의 결론은 학습할 수 있는 기계가 아니라 단순히 계산할 수 있는 기계였다. 특히 임계값(세타값)은 사람이 직접 찾아내야 했다. 신경세포가 데이터를 검사하여 세타값을 알아낼 수는 없었다.
6.3 로젠블랫의 업적
로젠블랫의 퍼셉트론이 화제가 된 것은 데이터에서 가중치를 학습할 수있는 점이었다. 가중치는 데이터에 들어 있는 패턴에 대한 지식을 부호화하여 기억했다.
7.로젠블랫의 후회
로젠블랫은 퍼셉트론 1호를 1958년에 발표하고 나서 기계처럼 들리는 퍼셉트론이라는 용어를 선택한 것을 후회했다. 지각과 인지를 위한 신경계 모형을 염두에 뒀기 때문이다. 그는 MCP모델과 도널드 헤버연구에 심취하였다. 그는 인공 신경세포는 재구성이라는 방법으로 학스브하며 정보를 연결의 세기로 구체한다고 봤다.
7.1 알파벳 인식 시도
로젠블랫은 심리학자였기에 자신의 발상을 하드웨어나 소프트웨어로 구현해 줄 수 있는 컴퓨터 자원에 접근할 수 없었다. IBM 704를 시간제로 임대하여 퍼셉트론 1호를 완성했다. 20X20 픽셀 카메라를 달아 이미지를 보고 알파벳을 인식하도록 했다.
8.MCP와의 차이점
로젠블랫은 MCP모델을 수정하여 학습 알고리즘으로 증강된 MCP로 퍼셉트론을 구성하였다.
즉, 퍼셉트론은 문제를 해결하기 위한 올바른 가중치와 편향의 값을 학습할 수 있었다.
8.1 가중치 값과 편향 값
수검자를 비만과 비만 아님으로 분류하는 퍼셉트론을 생각해보자. 몸무게와 키라는 입력으로 국립 심장폐혈액 연구소에서 정한 기준에 따라 의사가 수검자의 비판 여부를 판단한 라벨로 이뤄졌다.
퍼셉트론의 과제는 가중치 값과 편향 항(b)의 값을 학습하여 데이터 집합의 각 수검자를 비만이나 비만 아님으로 올바르게 분류하는 것이다.
8.2 선형적인 구분선
퍼셉트론이 가중치와 편향 항의 올바른 값을 학습했으면, 사람의 키와 몸무게만 주어지면 비만과 비만 아님을 분류할 수 있다. 기본 가정은 비만과 비만 아님으로 분류된 사람의 범주 사이에 선형적인 구분선이 있다는 것이다.
9.퍼셉트론 알파벳 인식
퍼셉트론 1호는 20×20 픽셀, 즉 400픽셀을 처리할 수 있었는데 각 픽셀은 x입력값에 대응함으로써 400개의 기다린 값의 열을 입력으로 취했다.
인공 신경세포를 복잡하게 배열하면 400개의 값을 가지는 벡터를 출력 신호로 바꿔 이미지에서 패턴을 분간할 수 있었다.
10.벡터 이해 필요
퍼셉트론 장치의 제작은 대단한 성취였다.훨씬 더 큰 성취는 데이터가 선형적으로 분리가능하면 단층 퍼셉트론이 선형 분리 초평면을 반드시 찾아낸다는 수학 증명이었다.
이 증명을 이해하려면 벡터가 무엇이며, 이것들이 기계학습에서 데이터를 찾아내는 방법의 뼈대를 이루는지를 알아야 한다. 첫번째 수학적 급유지점이다.