더 깊게

더 깊은 신경망으로

위와 같이 신경망을 깊게 쌓은 깊은 신경망의 특징을 정리하면 다음과 같다.

• 3x3의 작은 필터를 사용한 합성곱 계층
• 활성화 함수는 ReLU
• 완전연결 게층 뒤에 dropout 사용
• Adam을 통해 최적화
• 가중치 초기값 ‘He의 초기값’

이 신경망의 정확도는 99.38%이며, 이 신경망이 인식하지 못하는 이미지를 확인해보니 실제로 우리도 똑같이 인식 오류를 저지르는 이미지였다.

이런 점에서 심층 CNN의 잠재력이 크다는 것을 잘 느낄 수 있다.

정확도를 더 높이려면

**데이터 확장(Data Augmentation)**은 입력 이미지(훈련 이미지)를 알고리즘을 동원해 ‘인위적’으로 확장시킨다.

입력 이미지를 회전하거나 세로로 이동하는 등 미세한 변화를 주어 이미지 개수를 늘린다. 이는 데이터가 몇 개 없을 때 특히 효과적인 수단이다.

대표적으로 이미지 일부를 잘라내는 crop, 좌우를 뒤집는 filp, 이미지의 밝기의 외형 변화나 확대 및 축소와 같은 스케이변화 등이 있다. Data augmentation을 동원해 훈련 이미지의 개수를 늘릴 수 있다면 딥러닝의 인식 수준을 개선할 수 있다.

깊게 하는 이유

층을 깊게 하는 것의 이점 중 하나는 신경망의 매개변수의 수가 줄어든다는 것이다. 층을 깊게 한 신경망은 깊지 않은 경우보다 적은 매개변수로 같은 수준의 표현력을 달성할 수 있다.

예를 들어보자.