ONNX(Open Neural Network Exchange) 개념 Tensorflow, PyTorch 와 같은, 서로 다른 DNN 프레임워크 환경에서 만들어진 모델들을 서로 호환해서 사용할 수 있도록 도와주는 공유 플랫폼이다. 진행과정 첫 번째 PyTorch 모델과 Sample input 을 인자로 하여, torch.onnx.export 함수를 호출 PyTorch 의 JIT 컴파일러를 통해서, Trace 혹은 Script 를 생성 Trace 와 Script 는 그 생성 방식과 representation 에 차이 PyTorch 모델의 forward propagation 시에 호출되는, 함수 및 연산들에 대한 최적화된 그래프인 Torch IR 생성 Trace 나 Script 는, PyTorch 의 nn.Module 을 상속하는 모델의, forward 함수에서 실행되는.. 2022. 11. 30. 활성화 함수, Activation Function 비선형 함수 사용 이유 은닉층에서 이진 활성화 함수를 활성화 함수로 사용할 경우, 다중 출력이 불가능하다는 문제점이 존재한다. 은닉층에서 선형 활성화 함수를 활성화 함수로 사용할 경우, 역전파가 불가능하고 층(layer)을 깊게 쌓는 의미가 사라진다.따라서 은닉층에서 비선형 활성화 함수를 활성화 함수로 사용하는 것이 바람직하다. 시그모이드 함수, Sigmoid(Logit) function 출력값이 0과 1 사이 출력값의 중심이 1212이다. (not zero-centered) 입력값이 커질수록 출력값은 1에 가까워지고, 입력값이 작아질수록 출력값은 0에 가까워진다. 입력값이 커질수록/작아질수록 기울기(gradient)는 0에 가까워진다. 이진 분류(binary classification) 문제에서 출력층.. 2022. 11. 24. ANN, DNN, CNN, RNN ANN(Artificial Neural Network) 모든 비선형 함수를 학습 모든 입력을 출력에 매핑하는 가중치를 학습할 수 있는 능력 활성화 함수는 네트워크에 비선형 속성 도입으로 입력과 출력 사이 복잡한 학습을 하는데 도움 학습과정에서 파라미터 최적값 찾기 어려움 Overfitting에 따른 문제 DNN(Deep Neual Network) ANN 문제 해결위해 은닉층 확대 2개 이상의 은닉층으로 학습(보통 Deep Learning은 3개 이상) DNN을 응용하여 CNN, RNN, LSTM, GRU 등 발전 CNN(Convolution Neural Network) 정보추출, 문장분류, 얼굴인식 등 널리 사용, 특히 이미지 및 비디오 처리에 활용 핵심 요소는 커널(콘볼루션 연산을 사용하여 입력에서 관.. 2022. 11. 17. 이전 1 2 다음
