ReLU1 DNN(심층신경망) 개념, 경사도 소실 문제 & ReLU 활성화 함수 심층신경망은 은닉 계층을 많이 쌓아서 만든 인공지능 기술이다. (ANN은 주로 은닉 계층 하나를 포함했다.) DNN은 수십 ~ 수백의 은닉 계층으로 구성되기도 해서 좋은 성능을 낼 수 있고 적용 분야가 다양하다. ANN의 은닉 계층 결과는 출력 계층으로 간다. 반면, DNN의 은닉 계층 결과는 제2 은닉 계층으로 들어간다. 다수의 은닉 계층을 활용하면 입력 신호를 더 정교하게 처리할 수 있다. 경사도 소실 문제 & ReLU 활성화 함수 경사도 소실 문제 - DNN은 여러 은닉 계층으로 구성되어 지능망의 최적화 과정에서 학습에 사용하는 활성화 함수에 따라 경사도 소실이 발생할 수 있다. = DNN은 여러 계층으로 구성 + 각 계층 사이에 활성화 함수가 반복적으로 들어있어 오차역전파를 계산할 때 경사도 계산.. 2020. 8. 19. 이전 1 다음
