‘사피엔스’ 저자 유발 하라리교수가 AI 시대의 위험을 경고하고 나섰습니다.
하리리는 ‘사피엔스’를 통해 빅히스토리텔러로서 세계적인 명성을 얻었습니다. 그는 빅히스토리를 쉽게 풀이하면서 동시에 맥락을 정확하게 잡아내는 지적 매력을 한껏 발휘합니다.
하라리의 ‘넥서스’는 ‘호모 데우스’에 이어 정보와 AI 혁명의 의미와 본질을 꿰뚫고 인류에게 성찰의 포인트를 제시합니다. 디지털 시대는 컴퓨터와 네트워크가 24시간 켜져 있고, 모든 인류가 스마트폰으로 자발적으로 감시 데이터를 제공하는 시대입니다.
이런 흐름속에서 인간의 통제를 벗어난 AI이 인류 문명을 어떻게 바꿀 것인가를 깊이 성찰하지 않을 수 없습니다. 그는 “멸종을 향해 달려가는 가장 영리한 동물, 우리 사피엔스는 생존과 번영의 길을 찾을 수 있을까”라고 질문을 던집니다.
아울러 하라리는 비인간 지능이 우리의 존재를 위협하는 현재, 우리는 연결을 잠시나마 끊고 네트워크의 실수를 바로 잡을 기회를 잡아야 한다고 주장합니다.
넥서스중에서 ‘집요하게: 네트워크는 항상 켜져 있다’편을 골라서 읽었습니다.
1.감시체제
인간은 감시받는 것에 익숙하다. 수백만 년 동안 우리는 다른 동물들뿐만 아니라 다른 사람들의 감시와 추적을 받았다.
중앙 집중화된 관료주의 네트워크가 등장했을 때, 관료의 가장 중요한 역할 중 하나는 국민 전체를 감시하는 것이었다. 진나라의 관료들은 백성이 세금을 내는지 반역을 모의하는지 알고 싶어 했다. 가톨릭교회는 신자들이 십일조를 내는지 자위를 하는지 알고 싶어 했다.
코카콜라 회사는 자사 제품을 구매하도록 소비자를 설득할 방법을 알고 싶어 했다. 통치자, 성직자, 상인은 우리를 통제하고 조종하기 위해 우리의 비밀을 알고 싶어 했다.
2.감시 메커니즘:데이터 수집과 분석
선의를 가진 관료 조직도, 억압적인 관료 조직도 두 가지 일을 해야 했다.
첫째는 우리에 대한 많은 데이터를 모으는 것이다.
둘째는 그 모든 데이터를 분석하여 패턴을 파악하는 것이다.
고대 중국부터 현대 미국에 이르기까지 제국, 교회, 기업, 의료 제도는 수백만 명의 행동에 대한 데이터를 수집하고 분석했다. 하지만 모든 시대, 모든 장소에서 감시는 불완전했다.
3.감시의 기술적 한계
고대 진나라와 현대 소련 같은 전체주의 체제에서는 감시를 제한하는 법적 장치는 없었지만 기술적 한계가 있었다. 아무리 잔혹한 독재자라도 모든 사람을 항상 추적할 수 있는 기술을 갖지는 못했다.
1945년 이후 루마니아 니콜라에 차우셰스쿠 정권 사례를 보자. 그는 2,000만 명의 루마니아 국민 모두를 표적으로 삼았지만 감시요원이 부족했을 뿐만아니라, 이들이 만든 보고서를 읽을 사람조차 부족했다.
세쿠리타테와 KGB의 진정한 힘은 모든 사람을 끊임없이 감시하는 능력이 아니라, 감시당하고 있다는 두려움을 심어주는 능력이었다. 그럴 때 사람들은 말과 행동을 극도로 조심하게 된다.
4.컴퓨터와 네트워크가 감시 역할
2024년 현재 우리는 도처에 깔린 컴퓨터 네트워크가 전 세계 인구를 하루 24시간 따라다니며 감시할 수 있는 시대를 맞이하고 있다. 이 네트워크는 수백만 명의 인간 요원들을 고용하여 우리를 감시하도록 훈련시킬 필요가 없다.
우리 스스로가 네트워크에 데이터를 제공하는 정보원이기 때문이다. 컴퓨터 네트워크는 수많은 인간 활동이 모이고 교차하는 연결 고리 nexus가 되었다. 거의 모든 금융 거래, 사회적 혹은 정치적 거래의 중심에는 이제 컴퓨터가 있다.
결과적으로 우리는 결국 신의 눈을 피할 수 없었던 낙원의 아담과 이브처럼 감시의 눈길을 피할 수 없다.
5.분석역할, AI
머신러닝과 AI의 마법 덕분에 컴퓨터는 자신이 축적한 정보의 대부분을 스스로 분석할 수 있다. 인간은 평균적으로 1분에 약 250개의 단어를 읽을 수 있다.
2024년 현재 챗GPT와 메타 AI에서 개발한 대규모 언어 모델 라마Llama와 같은 언어 알고리즘은 분당 수백만 개의 단어를 처리할 수 있으며, 26억 개 단어를 두세 시간이면 ‘읽을’ 수 있다.
6.디지털 관료의 특징
비유기체 디지털 관료는 하루 24시간 ‘근무’할 수 있고, 언제 어디서나 우리를 감시하며 우리와 상호작용할 수 있다. 의료 제도, 경찰, 소비자를 조종하는 기업들은 이미 우리 삶 깊숙이 들어와 있다.
병원이나 경찰서, 쇼핑몰에 갈 때처럼 특정 상황에만 우리 옆에 있는 것이 아니라, 하루 종일 우리를 따라다니며 일거수일투족을 감시하고 분석하고 있다.
물고기가 물속에 살듯이, 인간은 디지털 관료제 속에서 살아가며 끊임없이 데이터를 들이마시고 내뱉는다. 우리가 하는 모든 행위는 데이터 흔적을 남기고, 그것들은 패턴을 파악하기 위해 수집되고 분석된다.
7.눈동자 움직임 인식
눈동자의 움직임은 누군가가 자기 앞에 있는 사물과 상황에 얼마나 관심이 있는지, 그 관심이 긍정적인지, 무관심인지, 부정적인지도 알려준다. 이를 토대로 정치부터 섹스까지 다양한 분야에서 우리가 무엇을 선호하는지 유추해낼 수 있다.
건강 상태와 다양한 물질의 사용 여부도 알 수 있다. 이런 정보는 분명 역사상 사생활 침해가 가장 심각한 전체주의 정권의 토대가 될 수도 있다.
8.스마트폰을 통한 감시
네트워크가 우리의 정치적 견해, 성격 특성, 성 지향성을 알고자 한다면, 뇌에 칩을 심어 심장과 뇌 안에서 일어나는 과정을 감시하면 된다. 하지만 우리 뇌에 이식된 컴퓨터 칩에 대해 걱정하기는 아직 이르다. 오히려 사람들이 이런 음모론을 읽는 스마트폰에 대해 걱정해야 한다.
누군가가 당신의 정치적 견해를 알고 싶다면 당신의 스마트폰에서 당신이 어떤 뉴스 채널을 보는지만 감시하면 된다.
9.사생활의 증발
인간이 인간을 감시하는 세계에서는 사생활이 기본값이었다. 하지만 컴퓨터가 인간을 감시하는 세계에서는 역사상 처음으로 사생활이 완전히 사라질지도 모른다.
내국인이나 관광객이 델리, 베이징, 서울, 런던의 거리를 걷는 동안 그들의 움직임이 기록될 가능성이 있다. 이런 도시들과 그 밖에 전 세계의 많은 도시에는 1제곱킬로미터당 평균 100대 이상의 감시 카메라가 설치되어 있기 때문이다.
궁극적으로 AI 기반 감시 기술은 시민을 하루 24시간 감시하고 어디서든 자동적으로 전체주의적 억압을 실행에 옮기는, 새로운 종류의 완전한 감시 체제를 탄생시킬지도 모른다.
10.평판시스템의 사생활 침해
돈으로 살 수 없는 것들을 점수화하기 위한 비화폐 시스템이 존재했는데, 이것은 명예, 지위, 평판 등 다양한 이름으로 불렸다. 사회신용 시스템의 목적은 평판 시장에서 가치를 평가하는 방법을 표준화하는 것이다.
사회신용이란 이런 감시 방법을 레스토랑과 호텔에서 모든 것으로 확대하는 것이다. 가장 극단적인 유형의 사회신용 시스템에서는 모든 사람의 모든 행동을 계산해 평판 총점을 매기고 이 점수가 사람들이 할 수 있는 모든 것을 결정한다. 사회신용 시스템은 전체주의적 통제 시스템이 될 가능성이 있다.
11.항상 켜져 있는 컴퓨터와 네트워크
컴퓨터 네트워크는 항상 켜져 있다. 설령 네트워크가 선의를 가지고 있다 해도, 항상 ‘켜져’ 있다는 사실 자체가 인간과 같은 유기체에는 해가 될 수 있다. 연결을 끊고 휴식을 취할 기회를 빼앗기 때문이다.
유기체는 쉴 기회가 전혀 없으면 쇠약해져 죽는다. 하지만 어떻게 하면 끊임없이 가속하는 네트워크의 속도를 줄여 우리가 약간의 휴식을 가질 수 있을까?
12.네트워크를 바로 잡을 기회가 필요
컴퓨터 네트워크가 사회를 완전히 장악하는 것을 막아야 하는 이유는 단지 휴식을 위해서만이 아니다. 브레이크가 필요한 훨씬 더 중요한 이유는 네트워크를 바로잡을 기회를 갖기 위해서다.
정보는 진실이 아니다. 완전한 감시 시스템은 세상과 인간 존재에 대한 대단히 왜곡된 이해를 형성할 수 있다.
네트워크가 세상과 인간에 대한 진실을 발견하는 대신 자신의 막강한 힘을 이용해 새로운 종류의 세계 질서를 만들고 그것을 우리에게 강요할지도 모른다.