ANN, DNN, CNN, RNN

ANN(Artificial Neural Network)

• 모든 비선형 함수를 학습
• 모든 입력을 출력에 매핑하는 가중치를 학습할 수 있는 능력
• 활성화 함수는 네트워크에 비선형 속성 도입으로 입력과 출력 사이 복잡한 학습을 하는데 도움
• 학습과정에서 파라미터 최적값 찾기 어려움
• Overfitting에 따른 문제

---

DNN(Deep Neual Network)

• ANN 문제 해결위해 은닉층 확대
• 2개 이상의 은닉층으로 학습(보통 Deep Learning은 3개 이상)
• DNN을 응용하여 CNN, RNN, LSTM, GRU 등 발전

ANN vs DNN

---

CNN(Convolution Neural Network)

• 정보추출, 문장분류, 얼굴인식 등 널리 사용, 특히 이미지 및 비디오 처리에 활용
• 핵심 요소는 커널(콘볼루션 연산을 사용하여 입력에서 관련 기능 추출)이라는 필터
• 암시적으로 필터를 자동으로 학습(입력데이터에서 올바른 관련 기능 추출에 도움)
• 입력 데이터의 특징을 추출하여 특징들의 패턴 파악하는 구조
• Convolution과정과 Pooling 과정으로 진행

CNN 진행 과정 이미지 1

CNN 진행 과정 이미지 2

Layer 별 쓰임새 및 구성요소 예시

---

RNN(Recurrent Neural Network)

• RNN은 입력 데이터에 있는 순차 정보 캡처
• O1, O2, O3, O4는 현재 단어만 아니라 이전 단어에도 의존(과거학습을 Weight를 통해 현재학습에 반영)
• 여러 단계에서 매개 변수 공유 → 훈련 매개 변수 감소 및 계산 비용 감소
• 반복적이고 순차적인 데이터(시계열 데이터)에 효과적

RNN 예시 이미지

 

 

 

 

 

Reference. https://dbrang.tistory.com/m/1537