[AI 역사 9편] 기계는 어떻게 인간의 말을 알아듣게 되었나? 자연어 처리(NLP)의 진화

알파고가 바둑판 위에서 경이로운 수를 두며 세상을 놀라게 했다면, 최근의 AI는 인간 고유의 영역이라 여겨졌던 '언어'를 완벽하게 구사하며 우리 삶에 녹아들고 있습니다. 지금 우리가 사용하는 챗GPT나 스마트폰의 번역기, 음성 비서가 모두 '자연어 처리(Natural Language Processing, NLP)' 기술의 결정체입니다.

최근 화제가 되는 AI의 심장, 즉 LLM(대형 언어 모델)의 원리를 깊이 파고들다 보면, 결국 기계가 언어를 이해하고 글을 쓰는 과정은 수많은 텍스트를 숫자로 바꾸어 끊임없는 '행렬 연산의 반복'을 수행하는 것이라는 사실을 깨닫게 됩니다. 감정이 담긴 인간의 말을 기계는 어떻게 차가운 수학적 연산으로 이해하게 되었을까요? 이번 9편에서는 기계가 인간의 언어를 정복해 온 험난하고도 신비로운 과정에 대해 알아보겠습니다.

첫 번째 도전: 문법책을 통째로 외우게 하다 (규칙 기반 방식)

초기 과학자들은 기계에게 언어를 가르치기 위해 가장 직관적인 방법을 선택했습니다. 바로 인간이 외국어를 배울 때처럼 '문법 규칙'과 '사전'을 컴퓨터에 통째로 입력하는 것이었죠. 이를 '규칙 기반(Rule-based) 접근법'이라고 합니다.

"주어 뒤에는 동사가 온다", "이 영어 단어는 한국어의 이 단어와 같다"라는 식의 방대한 규칙(IF-THEN)을 코딩했습니다. 하지만 이 방식은 곧 처참한 실패를 맞이합니다. 인간의 언어는 수학 공식처럼 딱 떨어지지 않기 때문입니다. 수많은 예외, 은유, 비유, 그리고 같은 단어라도 앞뒤 문맥에 따라 뜻이 완전히 달라지는 동음이의어(예: 타는 '배', 먹는 '배', 사람의 '배')를 사람이 일일이 규칙으로 정의하는 것은 불가능했습니다. 결국 초기의 기계 번역은 전혀 뜻이 통하지 않는 엉뚱한 결과물만 내놓으며 조롱거리가 되었습니다.

두 번째 도전: 데이터에서 확률을 찾다 (통계적 접근법)

1990년대에 접어들며, 연구자들은 규칙을 주입하는 대신 '통계'로 눈을 돌렸습니다. 인터넷이 발전하면서 방대한 양의 텍스트 데이터가 쌓이기 시작한 덕분입니다.

통계적 언어 모델은 "A라는 단어 뒤에 B라는 단어가 올 확률이 몇 퍼센트인가?"를 계산합니다. 예를 들어 수백만 개의 문서를 분석해 보니 '나는' 이라는 단어 뒤에 '밥을' 이라는 단어가 올 확률이 가장 높다면, 기계는 그 통계를 바탕으로 다음 단어를 예측하는 식입니다. 초창기 구글 번역기가 바로 이 방식을 사용했습니다. 규칙 기반보다는 훨씬 자연스러워졌지만, 여전히 문장 전체의 흐름을 파악하지 못하고 단어나 구문 단위로 뚝뚝 끊겨서 번역되는 어색함은 피할 수 없었습니다.

세 번째 혁명: 단어를 숫자의 지도로 만들다 (워드 임베딩)

2010년대, 딥러닝 기술이 도입되면서 자연어 처리 분야는 거대한 전환점을 맞이합니다. 핵심은 '워드 임베딩(Word Embedding)'이라는 기술이었습니다.

앞서 언급했듯 컴퓨터는 텍스트 자체를 이해하지 못하고 오직 숫자만 이해합니다. 워드 임베딩은 수많은 단어들을 거대한 다차원 공간(행렬) 속의 '좌표(숫자)'로 변환해 줍니다. 이 기술이 놀라운 이유는 단어 간의 '의미적 거리'를 수학적으로 계산할 수 있게 만들었다는 점입니다. 예를 들어 '왕(King)'이라는 단어의 숫자 값에서 '남자(Man)'를 빼고 '여자(Woman)'를 더하면 '여왕(Queen)'이라는 단어의 좌표값과 거의 일치하게 나옵니다. 단어들이 가진 뉘앙스와 문맥적 관계를 컴퓨터가 마침내 행렬 연산이라는 수학적 방식으로 완벽히 이해하기 시작한 것입니다.

트랜스포머(Transformer)의 등장, LLM 시대의 서막

그리고 2017년, 구글 연구진이 발표한 'Attention Is All You Need(어텐션만 있으면 충분하다)'라는 논문 한 편이 세상을 발칵 뒤집어 놓습니다. 이 논문에서 제안된 '트랜스포머(Transformer)' 아키텍처는 오늘날 챗GPT를 비롯한 모든 생성형 AI의 뼈대가 되었습니다.

트랜스포머의 핵심은 '어텐션(Attention)' 메커니즘입니다. 사람이 긴 글을 읽을 때 모든 단어를 똑같은 비중으로 보지 않고 문맥상 중요한 핵심 단어에 '집중(Attention)'하는 원리를 모방한 것입니다. 기존 AI 모델들이 문장을 앞에서부터 순서대로 한 단어씩 읽어 속도가 느리고 긴 문장의 앞부분을 까먹었다면, 트랜스포머는 문장 전체를 한꺼번에 병렬로 처리하면서 단어들 사이의 관계(가중치)를 집중적으로 분석합니다.

이 혁신적인 구조 덕분에 AI는 수백억 개의 파라미터를 가진 초거대 모델로 확장될 수 있었고, 마치 사람과 대화하는 것처럼 앞뒤 문맥을 완벽하게 파악하며 유창한 글을 써내는 지금의 LLM 시대를 열게 되었습니다.

핵심 요약 3줄

• 초기 AI의 언어 학습은 문법 규칙을 주입하는 방식이었으나, 예외와 문맥을 파악하지 못해 한계에 부딪혔습니다.

• 단어의 의미와 관계를 숫자의 행렬로 변환하는 '워드 임베딩' 기술을 통해 기계가 뉘앙스를 수학적으로 연산하기 시작했습니다.

• 2017년 등장한 트랜스포머(Transformer) 구조는 문장의 핵심에 집중(Attention)하는 능력을 갖춰, 오늘날 LLM(대형 언어 모델) 혁명의 기반이 되었습니다.

다음 편 예고: 기계가 글을 읽고 쓸 줄 알게 되었다면, 이제 '눈'을 뜰 차례입니다. 다음 10편에서는 기계가 이미지를 인식하고 세상을 바라보는 기술, '컴퓨터 비전(Computer Vision)의 발전'에 대해 알아보겠습니다.

💬 생각 나누기: 과거 어색하기 짝이 없던 초창기 번역기를 썼던 기억과, 최근의 챗GPT나 파파고 같은 고도화된 번역기를 쓰면서 체감하는 가장 큰 차이는 무엇인가요? 여러분의 재미있는 경험담을 댓글로 남겨주세요!