인공신경망 분석 (개념, 연구, 학습, 특집 등)

 

인공신경망 분석(ANN)

인공신경망이란?

• 인간 뇌를 기반으로 한 추론 모델이다.
• 뉴런은 기본적인 정보처리 단위이다.

인공신경망의 연구

• 1943년 매컬럭과 피츠 : 인간의 뇌를 수많은 신경세포가 연결된 하나의 디지털 네트워크 모형으로 간주하고 신경세포의 신호처리 과정을 모형화하여 단순 패턴 분류 모형을 개발했다.
• 헵 : 신경세포(뉴런) 사이의 연결 강도를 조정하여 학습규칙을 개발했다.
• 로젠블럿 : 퍼셉트론이라는 인공세포를 개발했다.
• 비선형성의 한계점 발생 -XOR 문제를 풀지 못하는 한계를 발견하였다.
• 홉필드, 러멜하트, 맥클랜드 : 역전파 알고리즘을 활용하여 비선형성을 극복한 다계층 퍼셉트론으로 새로운 인공신경망 모형이 등장했다.

인간의 뇌를 형상화한 인공신경망

• 인간 뇌의 특징 
  100억개의 뉴런과 6조 개의 시냅스의 결합체이다. 인간의 뇌는 현존하는 어떤 컴퓨터보다 빠르고 매우 복잡하고, 비선형적이며, 병렬적인 정보처리 시스템과 같다. 적응성에 따라 잘못된 답에 대한 뉴런들 사이의 연결은 약화되고, 올바른 답에 대한 연결이 강화된다.
• 인간의 뇌 모델링
  뉴런은 가중치가 있는 링크들로 연결되어 있다. 뉴런은 여러 입력 신호를 받지만 출력 신호는 오직 하나만 생성한다.

인공 신경망의 학습

• 신경망은 가중치를 반복적으로 조정하며 학습한다.
• 뉴런은 링크로 연결되어 이고, 각 링크에는 수치적은 가중치가 있다.
• 인공 신경망은 신경망의 가중치를 초기화하고 훈련 데이터를 통해 가중치를 갱신하여 신경망의 구조를 선택하고, 활용할 학습 알고리즘을 결정한 후 신경망을 훈련시킨다.

인공신경망의 특징

• 구조 : 입력 링크에서 여러 신호를 받아서 새로운 활성화 수준을 계산하고, 출력 링크로 출력 신호를 보낸다. 입력 신호는 미가공 데이터 또는 다른 뉴런의 출력이 될 수 있다. 출력 신호는 문제의 최종적인 해가 되거나 다른 뉴런에 입력될 수 있다.
• 뉴런의 계산 : 뉴런은 전이함수, 즉 활성화 함수를 사용한다. 활성화 함수를 이용해 출력을 결정하며 입력 신호의 가중치 합을 계산하여 입계값과 비교한다. 가중치 합이 임계값보다 작으면 뉴런의 출력은 -1, 같거나 크면 +1을 출력한다.
• 시그모이드 함수 : 로지스틱 희귀분석과 유사하며, 0~1의 확률값을 가진다.
• softmax함수 : 표준화 지수 함수로도 불리며, 출력값이 여러개로 주어지고 목표치가 다범주인 경우 각 범주에 속할 사후 확률을 제공하는 함수이다.
• Relu함수 : 입력값이 0이하는 0, 0이상은 x값을 가지는 함수이며, 최근 딥러닝에서 많이 활용하는 활성화 함수이다.
• 퍼셉트론은 선형 결합기와 하드 리미터로 구성된다.
• 초평명은 n차원 공간을 두개의 영역으로 나눈다.
• 초평면을 선형 분리 함수로 정의한다.

 

신경망 모형 구축시 고려사항

• 입력 변수 : 신경망 모형은 그 복잡성으로 인하여 입력 자료의 선택에 매우 민감하다. 입력 변수가 범주형 또는 연속형 변수일 때 아래의 조건이 신경망 모형에 적합하다. 연속형 변수의 경우 그 분포가 평균을 중심으로 대칭이 아니면 좋지 않은 결과를 도출하기 때문에 아래와 같은 방법을 활용한다. 범주형 변수의 경우 가변수화하여 적용하고 가능하면 모든 범주형 변수는 같은 범위를 갖도록 가변수화 하는 것이 좋다.
• 가중치의 초기값 다중 최소값 문제 : 역전파 알고리즘은 초기값에 따라 결과가 많이 달라지므로 초기값이 선택은 매우 중요한 문제다 가중치가 0이면 시그모이드 함수는 선형이 되고 신경망 모형은 근사적으로 선형모형이 된다. 일반적으로 초기값이 0근처로 랜덤하게 선택하므로 초기 모형은 선형모형에 가깝고, 가중치 값이 증가할수록 비선형모형이 된다.