[AI 역사 7편] 인간의 뇌를 모방하다: 인공신경망과 딥러닝의 혁명

지난 6편에서는 기계가 데이터 속에서 스스로 규칙을 찾아내는 '머신러닝'의 등장에 대해 알아보았습니다. 머신러닝 덕분에 AI는 긴 암흑기에서 벗어날 수 있었지만, 치명적인 약점이 하나 남아있었습니다. 바로 데이터의 핵심 '특징(Feature)'은 여전히 사람이 직접 추출해서 기계에게 쥐여줘야만 했다는 점입니다.

수만 장의 고양이 사진을 보여주며 "귀가 뾰족하고 수염이 있는 특징을 찾아봐"라고 사람이 먼저 가이드를 줘야만 기계가 학습을 시작할 수 있었습니다. 과학자들은 고민에 빠졌습니다. "사람이 일일이 개입하지 않고, 기계가 특징조차 스스로 알아낼 수는 없을까?" 이 난제를 해결하기 위해 과학자들은 가장 완벽한 정보 처리 기관인 '인간의 뇌'로 시선을 돌렸습니다. 오늘 7편에서는 오늘날 AI 혁명의 진짜 주인공, 인공신경망과 '딥러닝(Deep Learning)'에 대해 파헤쳐 보겠습니다.

인공신경망: 뇌세포의 연결을 수학으로 구현하다

우리 뇌에는 약 1,000억 개의 신경세포(뉴런)가 있고, 이들은 수많은 시냅스로 거미줄처럼 연결되어 신호를 주고받으며 정보를 처리합니다. 과학자들은 이 구조를 본떠 컴퓨터 안에 가상의 뉴런(노드)들을 만들고 수학적인 가중치로 연결했습니다. 이것이 바로 '인공신경망(Artificial Neural Network, ANN)'의 기본 원리입니다.

초기 인공신경망 모델인 '퍼셉트론(Perceptron)'은 1950년대에 이미 등장했었습니다. 하지만 당시에는 단층(한 겹) 구조의 한계로 인해 아주 단순한 비선형 문제(XOR 문제)조차 풀지 못한다는 치명적인 논리적 결함이 수학적으로 증명되었습니다. 결국 인공신경망 연구는 학계의 철저한 외면을 받으며 수십 년간 빛을 보지 못했습니다.

깊어지는 신경망, '딥러닝'으로 진화하다

죽어가던 인공신경망을 부활시킨 것은 제프리 힌튼(Geoffrey Hinton) 교수를 비롯한 끈질긴 연구자들이었습니다. 그들은 단층이었던 신경망 사이에 수많은 '은닉층(Hidden Layer)'을 깊게(Deep) 겹겹이 쌓아 올렸습니다. 그리고 출력된 결과의 오차를 거꾸로 되돌려 보내며 가중치를 수정하는 '역전파(Backpropagation)' 알고리즘을 도입했습니다. 신경망이 얕은 수준을 넘어 깊어졌다고 하여, 이때부터 우리는 이를 '딥러닝(Deep Learning)'이라고 부르게 되었습니다.

은닉층이 여러 겹으로 깊어지자 놀라운 마법이 일어났습니다. 기계가 사람의 도움 없이 데이터의 '특징'을 스스로 추출하기 시작한 것입니다.

예를 들어 사람의 얼굴 사진을 입력하면, 첫 번째 층은 선과 윤곽을 파악합니다. 두 번째 층은 눈, 코, 입 같은 부분적인 형태를 인식하고, 더 깊은 층으로 갈수록 전체적인 얼굴의 특징을 종합하여 "이 사람은 누구다"라는 결론을 도출합니다. 사람이 수동으로 특징을 잡아주던 머신러닝의 뼈아픈 한계(특징 공학)를 딥러닝이 완벽하게 해결해 버린 것입니다.

세상을 발칵 뒤집은 2012년의 충격, 알렉스넷(AlexNet)

아무리 이론이 훌륭해도 실전에서 증명하지 못하면 소용이 없습니다. 딥러닝이 전 세계의 주목을 받게 된 결정적 사건은 2012년에 열린 글로벌 이미지 인식 대회(ImageNet)였습니다.

당시 수많은 연구팀이 사람이 직접 특징을 설계하는 전통적인 머신러닝 방식으로 대회에 참가해 고군분투하고 있었습니다. 그런데 제프리 힌튼 교수팀이 '알렉스넷(AlexNet)'이라는 딥러닝 모델을 들고 나타나, 2위 팀을 압도적인 점수 차로 따돌리고 우승을 차지해 버렸습니다. 이전까지 매년 1% 남짓 줄어들던 오류율을 단숨에 10% 이상 대폭 낮춰버린 경이로운 결과였습니다.

이날 이후, 전 세계의 수많은 AI 연구소와 글로벌 빅테크 기업들은 앞다투어 기존의 알고리즘을 버리고 딥러닝으로 연구 방향을 전면 수정하게 됩니다.

딥러닝의 치명적 한계: '블랙박스' 현상

하지만 딥러닝도 만능은 아닙니다. 치명적인 약점이 있는데, 바로 '블랙박스(Black Box)' 현상입니다.

딥러닝 모델은 수천만 개, 수십억 개의 매개변수(가중치)가 복잡하게 얽혀 연산하는 거대한 행렬과 같습니다. 결과물은 기가 막히게 정확하지만, 정작 그 결과를 만든 개발자조차 "AI가 도대체 어떤 논리적 과정을 거쳐서 이런 결론을 내렸는지" 그 속을 정확히 알 수 없습니다.

이는 의료 진단이나 자율주행 자동차, 금융 심사처럼 '과정에 대한 명확한 설명과 책임'이 필요한 분야에서는 매우 심각한 문제로 작용합니다. AI가 암이라고 진단했는데, 의사가 환자에게 그 이유를 설명할 수 없다면 아무리 정확해도 신뢰하고 수술을 진행할 수 없기 때문입니다. 그래서 최근 학계에서는 판단의 이유를 설명할 수 있는 '설명 가능한 AI(XAI)' 연구가 활발히 진행되고 있습니다.

핵심 요약 3줄

• 인공신경망은 인간 뇌의 뉴런과 시냅스 구조를 수학적으로 모방한 알고리즘이지만, 초기에는 단순한 문제조차 풀지 못해 철저히 외면받았습니다.

• 신경망을 여러 겹으로 깊게 쌓고(Deep) 오차를 수정하는 역전파 알고리즘이 적용되면서, 기계가 스스로 특징을 추출하는 '딥러닝'으로 진화했습니다.

• 압도적인 성능을 자랑하지만, 기계가 어떤 논리로 정답을 찾았는지 인간이 역추적하기 힘든 '블랙박스' 현상이라는 치명적인 한계를 가지고 있습니다.

다음 편 예고: 규칙이 정해져 있는 보드게임은 AI의 성능을 시험하기에 가장 완벽한 무대였습니다. 다음 8편에서는 세계 체스 챔피언을 꺾은 딥블루부터 인류에게 엄청난 충격을 안겨준 '알파고'까지, '게임과 AI의 역사'에 대해 알아보겠습니다.

💬 생각 나누기: 자율주행차나 의료 진단 AI가 내린 결정에 대해 인간이 그 이유를 완벽히 이해할 수 없다면, 여러분은 기계의 판단에 여러분의 안전이나 생명을 맡길 수 있으신가요? 여러분의 솔직한 의견을 댓글로 남겨주세요!