3. 인공신경망 모델 최적화

이 장은 인공신경망 모델을 최적화하는 방법을 설명합니다. 활성화 함수, 가중치 초깃값, 드롭아웃, 배치 정규화, 손실함수, 옵티마이저 등에 대해 설명합니다.

 

딥러닝은 인공신경망 알고리즘을 이용하여 비선형 문제를 해결하기 위해 사용합니다. 인공신경망 알고리즘을 이용하여 모델을 만들 때 연구자가 결정해야 할 파라미터들이 있습니다. 이 파라미터들을 어떻게 설정하느냐에 따라 모델의 평가는 달라집니다.

• 계층의 수 : 인공신경망 모델에서 은닉층의 수를 지정하는 것입니다. 
• 뉴런의 수 : 입력층의 뉴런 수는 입력 데이터의 변수의 수와 같아야 하며, 출력층의 뉴런의 수는 분류분석의 경우 분류 레이블의 수이며, 회귀분석의 경우 1개입니다.
• 활성화 함수 :각 계층에서 사용할 활성화 함수를 지정하는 것입니다.
• 가중치 초깃값 : 각 층의 가중치 초기값을 지정합니다.
• 드롭아웃 비율 : 과적합을 줄이기 위해 일부 뉴런의 출력을 0으로 하기 위한 비율입니다.
• 배치 정규화 : 오차의 경사가 묻히는 현상(Gradient Vanishing)을 줄이기 위해 은닉층 뉴런의 출력값을 정규화 하는 것입니다.
• 손실함수 : 예측한 값과 실제 값의 차이를 계산하는 함수입니다.
• 옵티마이저 :  손실함수를 최소화하도록 가중치를 갱신시키기 위한 최적화 함수입니다.
• 학습률 : 옵티마이저가 사용할 학습률입니다.
• 학습횟수(epoch) : 모든 데이터가 입력되어 가중치가 업데이트 되는 학습횟수입니다.
• 배치 크기 : 1회 epoch가 학습될 동안 가중치가 업데이트되어야 하는 입력 데이터의 크기(batch_size)입니다.

이 절은 인공신경망 모델의 최적화 방법에 대하여 설명합니다. 이 절에서 설명하는 내용이 최적화를 위한 모든 것은 아닙니다. 그리고 이 절에서 언급하는 방법을 적용한다고 해서 항상 가장 좋은 결과를 얻는다는 보장은 없습니다.