DNN(심층신경망) 개념, 경사도 소실 문제 & ReLU 활성화 함수

심층신경망은 은닉 계층을 많이 쌓아서 만든 인공지능 기술이다.

(ANN은 주로 은닉 계층 하나를 포함했다.)

DNN은 수십 ~ 수백의 은닉 계층으로 구성되기도 해서 좋은 성능을 낼 수 있고 적용 분야가 다양하다.

 

출처 : https://dnddnjs.gitbooks.io/rl/content/neural_network.html

 

ANN의 은닉 계층 결과는 출력 계층으로 간다. 반면, DNN의 은닉 계층 결과는 제2 은닉 계층으로 들어간다.

다수의 은닉 계층을 활용하면 입력 신호를 더 정교하게 처리할 수 있다.

 

---

경사도 소실 문제 & ReLU 활성화 함수

경사도 소실 문제 

- DNN은 여러 은닉 계층으로 구성되어 지능망의 최적화 과정에서 학습에 사용하는 활성화 함수에 따라 경사도 소실이 발생할 수 있다. = DNN은 여러 계층으로 구성 + 각 계층 사이에 활성화 함수가 반복적으로 들어있어 오차역전파를 계산할 때 경사도 계산이 누적된다.

 

 

ReLU

- 경사도 소실 문제를 극복하는 활성화 함수로 사용한다.

 

---

참고 : 코딩셰프의 3분 딥러닝 케라스맛