[AI 역사 10편] 기계가 눈을 뜨다, 컴퓨터 비전이 세상을 인식하는 법

지난 9편에서는 기계가 인간의 복잡한 언어를 수학적 행렬 연산으로 변환하여 문맥을 이해하게 된 자연어 처리(NLP)의 진화 과정을 살펴보았습니다. 텍스트를 읽고 쓸 줄 알게 된 인공지능 과학자들의 다음 목표는 명확했습니다. 바로 기계에게 세상을 볼 수 있는 '눈'을 달아주는 것이었습니다.

우리는 아침에 눈을 떠서 스마트폰을 바라볼 때, 화면 속 인물이 친구인지 연예인인지 0.1초도 안 되어 직관적으로 알아차립니다. 인간에게는 숨 쉬는 것만큼 자연스러운 시각 인지 과정이지만, 컴퓨터에게 이것을 가르치는 것은 인공지능 역사상 가장 까다로운 난제 중 하나였습니다. 오늘은 기계가 이미지를 인식하고 세상을 바라보게 된 '컴퓨터 비전(Computer Vision)'의 역사와 그 속에 숨겨진 원리를 아주 쉽게 풀어보겠습니다.

첫 번째 장벽: 숫자로 이루어진 차가운 격자판

처음 컴퓨터 비전 연구를 시작했을 때, 개발자들이 가장 먼저 맞닥뜨린 절망은 "컴퓨터는 이미지를 이미지로 보지 못한다"라는 사실이었습니다.

우리가 디지털카메라나 스마트폰으로 찍은 아름다운 풍경 사진은 컴퓨터의 입장에서 그저 거대한 격자무늬의 숫자판(픽셀 행렬)일 뿐입니다. 붉은색, 초록색, 파란색(RGB)의 밝기를 나타내는 0부터 255까지의 숫자들이 수백만 개 채워진 거대한 행렬 데이터에 불과하죠.

초기 과학자들은 이 고정된 숫자들을 기반으로 이미지를 인식시키려 했습니다. 예를 들어 숫자 '7'을 인식시키기 위해 픽셀의 특정 위치에 검은색 숫자가 배열되는 규칙을 일일이 코딩했습니다. 하지만 이 방식은 처참한 실패로 끝났습니다. 글씨를 조금만 삐딱하게 쓰거나, 사진의 조명이 어두워지거나, 크기가 아주 조금만 달라져도 픽셀의 숫자 배열이 완전히 뒤바뀌었기 때문입니다. 사람은 각도가 달라져도 고양이인지 단번에 알아채지만, 초기 AI는 고양이가 고개를 1도만 돌려도 전혀 다른 물체로 인식하는 황당한 오류를 범하곤 했습니다.

돌파구를 찾다: 인간의 시각 피질을 모방한 CNN의 등장

이 문제를 해결한 구원투수가 바로 합성곱 신경망(Convolutional Neural Network, CNN)이라는 알고리즘입니다. 1980년대 얀 르쿤(Yann LeCun) 교수가 고양이의 시각 피질 구조에서 영감을 받아 제안한 이 방식은 오늘날 모든 이미지 인식 AI의 뼈대가 되었습니다.

내가 처음 CNN의 원리를 접했을 때, 그 단순하면서도 강력한 직관에 감탄했던 기억이 납니다. CNN은 이미지 전체를 통째로 분석하는 무모한 짓을 하지 않습니다. 대신 '필터(Filter)'라고 불리는 작은 돋보기를 지도 위에 올려두고, 이미지를 왼쪽 위부터 오른쪽 아래까지 촘촘하게 훑어 내려갑니다.

이 작은 필터들이 이미지를 훑으며 수행하는 것이 바로 '합성곱(Convolution) 연산'입니다. 필터의 숫자와 이미지 픽셀의 숫자를 곱하고 더하는 행렬 연산을 반복하면서, 이미지 속의 세로선, 가로선, 대각선 같은 아주 기초적인 '특징(Feature)'들을 먼저 찾아냅니다.

이 과정을 거쳐 신경망의 층(Layer)이 깊어질수록 기초적인 선들이 모여 코 모양이 되고, 눈 모양이 되며, 최종적으로는 "이 복잡한 숫자 배열의 정체는 고양이다"라는 결론을 도출하게 됩니다. 사진의 배경이 바뀌거나 고양이가 구석에 숨어 있어도, 필터가 이미지 전체를 훑으며 고유한 특징적 패턴을 찾아내기 때문에 왜곡에 매우 강하다는 엄청난 장점이 있습니다.

이미지넷 대회, 그리고 눈을 떠버린 기계들

이론적으로 훌륭했던 CNN은 2010년대에 접어들며 빅데이터와 고성능 GPU(그래픽 처리 장치)라는 날개를 달고 폭발적으로 성장합니다. 7편에서 잠시 언급했던 2012년 이미지넷(ImageNet) 대회에서 딥러닝 기반의 '알렉스넷'이 압도적인 성능으로 우승하면서 컴퓨터 비전은 새로운 국면을 맞이합니다.

컴퓨터의 이미지 인식 오류율은 기하급수적으로 떨어지기 시작했습니다. 2015년에 등장한 ResNet(잔차 네트워크) 모델에 이르러서는 이미지 인식 오류율이 약 3.5%까지 떨어졌는데, 이는 일반적인 인간의 평균 이미지 인식 오류율(약 5%)을 공식적으로 뛰어넘은 역사적인 순간이었습니다. 기계가 인간보다 이미지를 더 정확하게 구별해내기 시작한 것입니다.

오늘날 컴퓨터 비전 기술은 우리 일상 깊숙이 들어와 있습니다. 스마트폰을 켜는 안면 인식 잠금 해제부터 시작하여, 도로 위의 표지판과 보행자를 실시간으로 구별해야 하는 자율주행 자동차의 전방 카메라, 그리고 공장에서 부품의 미세한 스크래치나 불량을 귀신같이 잡아내는 비전 검사 시스템에 이르기까지 산업 전반의 패러다임을 통째로 바꾸어 놓았습니다.

컴퓨터 비전의 한계와 주의해야 할 점

하지만 기계가 세상을 완벽하게 이해했다고 자만하기에는 아직 이릅니다. 현대 컴퓨터 비전 기술 역시 치명적인 취약점을 안고 있습니다.

가장 대표적인 문제가 '적대적 공격(Adversarial Attack)'입니다. 인간의 눈에는 그저 평범한 판다 사진으로 보이지만, 기계가 인식하는 픽셀 데이터에 인간이 알아채지 못할 미세한 노이즈(잡음)를 섞어버리면, AI는 99%의 확률로 이 사진을 '긴팔원숭이'라고 잘못 판단하는 황당한 오류를 일으킵니다.

또한 자율주행 차량이 정지 표지판에 붙은 작은 스티커나 낙서를 오인하여 속도를 줄이지 않고 돌진하는 위험한 상황이 발생하기도 합니다. 기계는 이미지의 '맥락'과 '본질'을 이해하는 것이 아니라, 어디까지나 픽셀 숫자의 패턴과 확률을 연산하는 것이기 때문에 발생하는 한계입니다. 따라서 안전이 최우선인 자율주행이나 의료 영상 분석 분야에서는 이러한 예외적 오류를 잡아내기 위한 다중 안전장치와 전문가의 최종 검증이 반드시 병행되어야 합니다.

핵심 요약 3줄

• 컴퓨터는 이미지를 시각 정보가 아닌 거대한 '픽셀 숫자 행렬'로 인식하기 때문에 초기에는 작은 각도 변화나 조명 차이도 구별하지 못했습니다.

• 인간의 시각 신경을 모방한 CNN(합성곱 신경망) 알고리즘이 도입되면서, 이미지 전체를 훑으며 고유한 패턴과 특징을 스스로 추출하는 혁신이 일어났습니다.

• 현대 컴퓨터 비전은 인간의 인식률을 넘어 자율주행, 제조 검사 등에 활발히 쓰이지만, 미세한 노이즈에 속아 넘어가는 적대적 공격 등의 명확한 한계가 존재합니다.

다음 편 예고

기계가 글을 읽고 세상을 볼 수 있게 되면서, 인공지능은 폭발적인 전성기를 맞이합니다. 다음 11편에서는 최근 전 세계의 트렌드를 이끌고 있는 기술이자, 챗GPT와 미드저니의 근간이 되는 '생성형 AI(Generative AI)의 시대와 창작의 패러다임 변화'에 대해 자세히 알아보겠습니다.

댓글 유도 질문

스마트폰의 사진 앱이 내 얼굴이나 반려동물의 사진을 자동으로 분류해 주는 모습을 보며 신기했던 경험이 있으신가요? 기계의 눈 썰미에 놀랐거나, 반대로 엉뚱한 사진으로 착각해 웃음을 자아냈던 여러분의 경험을 댓글로 공유해 주세요!