퍼셉트론과 신경망의 기초

1. 프롤로그: 인간의 뇌를 닮은 계산기

20세기 중반, 과학자들은 인간의 뇌처럼 ‘생각’하는 기계를 

만들 수 없을까 고민하기 시작했다.

 

이 아이디어는 생물학적 신경망에서 영감을 받은

‘인공신경망’이라는 개념으로 이어졌다.

 

그 시작점이 바로 ’퍼셉트론(perceptron)’이다.

퍼셉트론은 생물학적 뉴런의 구조를 수학적으로 단순화한 모델로,

입력값과 가중치, 그리고 활성화 함수를 통해 출력값을 산출한다.

 

마치 뇌세포가 자극을 받고 신호를 전달하듯 말이다.

이 단순한 구조는 이후 수십 년에 걸친 인공지능 연구의 뼈대를 제공하게 된다.

퍼셉트론은 당시로선 획기적인 아이디어였으며,

기계가 스스로 학습할 수 있다는 가능성의 문을 열었다.

 

 

 

2. 퍼셉트론의 등장: 프랭크 로젠블랫의 아이디어

1957년, 심리학자 프랭크 로젠블랫은 미국 해군의 지원을 받아

‘퍼셉트론’이라는 기계 학습 모델을 개발했다.

 

퍼셉트론은 입력층, 가중치, 가중합, 활성화 함수로 구성된

단순한 구조였지만, 이 모델은 주어진 입력 데이터를 통해

스스로 가중치를 조절하며 결과를 예측하는 능력을 가지고 있었다.

그는 이 모델을 실제 하드웨어로 구현한

‘마크 1 퍼셉트론’이라는 장치를 개발하기도 했다.

로젠블랫은 퍼셉트론이 단순한 이미지 인식부터

복잡한 사고까지 가능하게 만들 것이라고 주장했고,

언론은 “생각하는 기계의 탄생”이라는 헤드라인으로 이를 대대적으로 다뤘다.

 

하지만 당시 퍼셉트론은 선형적으로 분리 가능한 문제에만 적용 가능했고,

복잡한 문제에는 취약했다는 한계가 있었다.

 

 

3. 좌절의 시작: XOR 문제와 한계

1969년, 마빈 민스키(Marvin Minsky)와 시모어 페이퍼트(Seymour Papert)는

공저서 『퍼셉트론』에서 퍼셉트론의 한계를 지적했다.

특히 퍼셉트론은 ‘XOR 문제’를 해결하지 못한다는 점이 큰 이슈였다.

 

XOR(배타적 논리합) 문제는 단층 퍼셉트론 구조로는

해결할 수 없는 대표적인 비선형 문제다.

 

이는 퍼셉트론이 단일 경계선(하이퍼플레인)을 기준으로

데이터를 분류하는 능력만을 갖고 있다는 의미였다.

 

이 문제 제기는 연구자들의 관심을 급격히 낮추는 결과를 낳았고,

이후 수년간 AI 연구는 냉각기를 맞이한다.

 

이를 흔히 “AI의 첫 번째 겨울”이라 부른다.

과도한 기대와 기술적 한계가 맞물리며,

투자자와 학계 모두 인공지능에 대한 열의를 잃어갔다.

 

4. 부활: 다층 퍼셉트론(MLP)의 탄생

1970~80년대 들어,

퍼셉트론의 한계를 극복할 수 있는 방법이 제시되기 시작했다.

 

특히 1986년 데이비드 럼멜하트(David Rumelhart)와

제프리 힌튼(Geoffrey Hinton) 등이 발표한 논문에서는

’역전파 알고리즘(backpropagation)’이 제안되며

다층 퍼셉트론(Multi-Layer Perceptron)이 본격적으로 부활하게 된다.

 

다층 퍼셉트론은 입력층과 출력층 사이에

하나 이상의 은닉층(hidden layer)을 도입하여

비선형 문제를 해결할 수 있게 만들었다.

 

이 은닉층은 다양한 복잡한 패턴을 학습하는 데 핵심적인 역할을 했으며,

역전파는 오차를 각 층으로 전달해 가중치를 조정하는 방법을 제공했다.

 

이 기술은 이후

CNN, RNN 같은 복잡한 딥러닝 구조의 토대를 마련했고,

다시금 AI의 붐을 일으키는 불씨가 되었다.

 

 

 

 

5. 지금을 위한 디딤돌: 퍼셉트론에서 딥러닝으로

오늘날 우리가 사용하는 챗GPT, 이미지 생성 AI,

자율주행차 등의 기반 기술 역시 퍼셉트론에서 시작된 신경망 이론에서 출발했다.

퍼셉트론은 단순한 구조였지만,

다층 퍼셉트론과 딥러닝 구조로 발전하면서 복잡하고

추상적인 패턴 인식까지 가능하게 되었다.

 

특히, GPU의 발전과 대용량 데이터의 확보가

이 신경망 구조에 날개를 달아주었다.

현재는 Transformer 모델처럼 더욱 정교하고

확장된 구조들이 등장했지만,

이 모든 진보는 퍼셉트론이라는 단순한 시작에서 비롯되었다는 점에서

그 상징성은 크다.

 

지금 우리가 누리는 AI 기술은 과거의 실패, 재도전,

그리고 끈질긴 탐구의 결실임을 우리는 기억해야 한다.