전체 글29 RuntimeError: Unable to find a valid cuDNN algorithm to run convolution Batch size 16 >> 8 변경하여 해결, 배치 사이즈를 낮춰서 해결할 수 있다. 2022. 12. 1. ONNX(Open Neural Network Exchange) 개념 Tensorflow, PyTorch 와 같은, 서로 다른 DNN 프레임워크 환경에서 만들어진 모델들을 서로 호환해서 사용할 수 있도록 도와주는 공유 플랫폼이다. 진행과정 첫 번째 PyTorch 모델과 Sample input 을 인자로 하여, torch.onnx.export 함수를 호출 PyTorch 의 JIT 컴파일러를 통해서, Trace 혹은 Script 를 생성 Trace 와 Script 는 그 생성 방식과 representation 에 차이 PyTorch 모델의 forward propagation 시에 호출되는, 함수 및 연산들에 대한 최적화된 그래프인 Torch IR 생성 Trace 나 Script 는, PyTorch 의 nn.Module 을 상속하는 모델의, forward 함수에서 실행되는.. 2022. 11. 30. 활성화 함수, Activation Function 비선형 함수 사용 이유 은닉층에서 이진 활성화 함수를 활성화 함수로 사용할 경우, 다중 출력이 불가능하다는 문제점이 존재한다. 은닉층에서 선형 활성화 함수를 활성화 함수로 사용할 경우, 역전파가 불가능하고 층(layer)을 깊게 쌓는 의미가 사라진다.따라서 은닉층에서 비선형 활성화 함수를 활성화 함수로 사용하는 것이 바람직하다. 시그모이드 함수, Sigmoid(Logit) function 출력값이 0과 1 사이 출력값의 중심이 1212이다. (not zero-centered) 입력값이 커질수록 출력값은 1에 가까워지고, 입력값이 작아질수록 출력값은 0에 가까워진다. 입력값이 커질수록/작아질수록 기울기(gradient)는 0에 가까워진다. 이진 분류(binary classification) 문제에서 출력층.. 2022. 11. 24. [Segmentation] Semantic vs Instance Semantic Segmentation Object segmentation 을 하되 같은 class 인 object 들은 같은 영역 혹은 색으로 분할하는 것이다. Instance Segmentation 같은 class 이더라도 서로 다른 instance 들을 구분해주는 것이다. Bonus. Boundary Segmentation semantic으로 구분된 것들 중 나눠진 영역별로 다시 나누는 것이다. Reference. [1]. https://light-tree.tistory.com/75 [2]. https://m.blog.naver.com/mincheol9166/221736294296 2022. 11. 22. Object Detection 개념 및 성능 평가 방법 방법 Classification(분류) : 어떤 객체인지(Ex. 고양이 or 강아지) 클래스만을 분류한다. 이 때 주로 CNN 모델만을 사용한다. Localization(회귀) : 특정 클래스 객체 위치를 바운딩 박스(Bounding Box)로 지정해 찾는 것을 의미한다. Object Detection(분류 + 회귀) : 여러개의 클래스 객체들에 대한 위치를 여러개의 바운딩 박스로 지정해서 찾는다(Localization). 이 때 동시에 여러개의 객체들이 무엇을 의미하는지 클래스 분류(Classification)도 수행한다. Segmentation : Pixel-level로 Object Detection을 하는 것을 의미한다. Region Proposal 객체가 있을 만한 영역들의 후보군들을 여러개 추출.. 2022. 11. 18. ANN, DNN, CNN, RNN ANN(Artificial Neural Network) 모든 비선형 함수를 학습 모든 입력을 출력에 매핑하는 가중치를 학습할 수 있는 능력 활성화 함수는 네트워크에 비선형 속성 도입으로 입력과 출력 사이 복잡한 학습을 하는데 도움 학습과정에서 파라미터 최적값 찾기 어려움 Overfitting에 따른 문제 DNN(Deep Neual Network) ANN 문제 해결위해 은닉층 확대 2개 이상의 은닉층으로 학습(보통 Deep Learning은 3개 이상) DNN을 응용하여 CNN, RNN, LSTM, GRU 등 발전 CNN(Convolution Neural Network) 정보추출, 문장분류, 얼굴인식 등 널리 사용, 특히 이미지 및 비디오 처리에 활용 핵심 요소는 커널(콘볼루션 연산을 사용하여 입력에서 관.. 2022. 11. 17. 이전 1 2 3 4 5 다음
