HAZEL

boostcourse 의 파이토치로 시작하는 딥러닝 기초 강의를 듣고 정리한 내용입니다. 더보기 https://www.boostcourse.org/opencourse 1. 활성화 함수란? : 입력된 데이터의 가중 합을 출력 신호로 변환하는 함수이다. Linear 한 layer를 쌓으면, linear한 연산만 가능한데, 활성화 함수를 통해 비선형 특성을 가할 수 있게 된다. 1. Sigmoid 1 ) Sigmoid 란? 시그모이드 함수의 반환값(y축)은 흔히 0에서 1까지의 범위를 가진다. 또는 -1부터 1까지의 범위를 가지기도 한다. sigmoid가 이진 분류에서 사용될 경우, 0 ~ 1 사이의 실수 값을 출력값으로 가진다. 따라서, 0.5를 기준으로 첫 번째 class와 두 번째 class를 나눈다. ..

boostcourse 의 파이토치로 시작하는 딥러닝 기초 강의를 듣고 정리한 내용입니다. 더보기 더보기 https://www.boostcourse.org/opencourse 1. 신경 세포(뉴런) : 여러 신호를 받아, 하나의 신호를 만들어 전달하는 역할. 출력을 내기전에 활성 함수(activation function)을 통해 비선형 특성을 가할 수 있다. 앞 단계에서는 linear한 연산만 가능한데, 활성화 함수를 통해 비선형 특성을 가할 수 있게 된다. : node는 단일 뉴런 연산 , edge는 뉴런의 연결성의 의미한다. : 활성화 함수의 특징은 선형 함수가 아닌 비선형 함수여야 한다는 것이다. 2. 얕은 신경망 ( Shallow Neural Network ) : input layer, hidden..

boostcourse 의 파이토치로 시작하는 딥러닝 기초 강의를 듣고 정리한 내용입니다. 더보기 https://www.boostcourse.org/opencourse 1. 텐서 ( Tensor ) - 2D Tensor = ( batch size , dim ) - 3D Tensor = ( batch size, width, height ) - Computer vision - 3D Tensor = ( batch size, length, dim ) - 순차정보, NLP : batch size 만큼 문장이 존재한다는 의미 - 1D Array with PyTorch # torch 를 선언하기 t = torch.FloatTensor([0., 1., 2., 3., 4., 5., 6.]) print('t : ',t) p..

import os from glob import glob import torch from torchvision import datasets, transforms # dataset 예제 변환, transform 예제 변환을 줌 1. Data Loader 부르기 # batch 사이즈를 데이터 로드에 직접 넣어줌 batch_size = 32 test_batch_size =32 # train 용도 이므로 True , 로컬에 데이터가 없으면 download 받을 것이므로 True # 데이터를 변경시켜줄것이므로, 아래처럼 처리 train_loader = torch.utils.data.DataLoader( datasets.MNIST('dataset/', train = True , download= True, tran..

01. PyTorch Basic : 타입만 다를 뿐 numpy 와 유사하게 동작한다. import numpy as np import torch 1. 기본 arange print(np.arange(9)) # [0 1 2 3 4 5 6 7 8] print(torch.arange(9)) # tensor([0, 1, 2, 3, 4, 5, 6, 7, 8]) 2. shape # shape 를 알수 있음 nums = torch.arange(6) nums.shape 3. type type(nums) 4. numpy 로 변환 # 넘파이 변환이 가능함 nums.numpy() 5. reshape # numpy 와 유사하게 reshape 를 할 수 있음 nums.reshape(2,3) 6. rand # 랜덤으로 3,3 텐서 ..

Deep Learning 02. 경사하강 학습법 1. 모델을 학습하기 위한 기본적인 용어 1.1. 학습 매개변수 ( Trainable Parameters ) : 학습 과정에서 값이 변화하는 매개변수 : 매개변수가 변화하면서, 알고리즘 출력이 변화됨. : y = ax + b 일때, a 와 b를 의미함 , 즉, 가중치 W와 편향 b 1.2. 손실함수 ( Loss Function) : 실제값과 예측값의 차이를 수치화 해주는 함수 : 실행하고 있는 학습 알고리즘이 얼마나 잘못하고 있는지를 나타내는 지표 : 지표의 값이 낮을수록 즉, 손실이 낮을 수록 학습이 잘 됬다는 것을 의미함. : 정답과 알고리즘 출력을 비교하면서 손실을 구함. -> 어떤 손실함수를 사용하냐에 따라서 학습이 어떻게 이루어지는지 결정됨 1.2..

Deep Learning 01. 얕은 신경망의 구조 1. 인공 신경망 ( Artificial Neural Network ) 1.1. 신경 세포(뉴런) : 여러 신호를 받아, 하나의 신호를 만들어 전달하는 역할. 출력을 내기전에 활성 함수(activation function)을 통해 비선형 특성을 가할 수 있다. 앞 단계에서는 linear한 연산만 가능한데, 활성화 함수를 통해 비선형 특성을 가할 수 있게 된다. : node는 단일 뉴런 연산 , edge는 뉴런의 연결성의 의미한다. : 활성화 함수의 특징은 선형 함수가 아닌 비선형 함수여야 한다는 것이다. -> 입력이 들어오면, 각 입력에 가중치가 곱해지고 그것을 다 더한 후, 활성화 함수를 통과하는 과정을 거친다. : 편향이 없다면, 뉴런이 표현할 수 ..

Deep Learning 03. GRU ( Gated Recurrent Unit ) 1. Vanilla RNN vs LSTM vs GRU ( Gated Recurrent Unit ) Vanilla RNN은 왼쪽의 모형처럼 단순하게 생겼다. 그에 비해 LSTM은 굉장히 복잡한 모형으로 생겼다. GRU는 LSTM의 기능을 가졌지만, 단순화 시킨 모습을 가지고 있다. 2. GRU ( Gated Recurrent Unit )의 구조 : GRU는 Cell State가 없고, Hidden State만 존재하는 구조이다. : Forget Gate 와 Input Gate가 결합되어있다. : Reset Gate가 추가되어있다. - Reset Gate : 이전 Hidden state를 얼마나 사용할지 정하는 역할. 즉, ..

Deep Learning 02. 1. Vanilla RNN과 LSTM의 차이!? Vanilla RNN의 기울기 소실 문제로, LSTM을 많이 쓴다고 저번 포스팅에 기록을 했었다. 2020/12/20 - [DATA/ML & DL] - [Deep Learning 01 ] 순환 신경망(Recurrent Neural Network, RNN) / 순차 데이터(Sequential Data) / Vanilla Recurrent Network [Deep Learning 01 ] 순환 신경망(Recurrent Neural Network, RNN) / 순차데이터(Sequential Data) / Vanilla Recurrent Netwo Deep Learning 01. 1. 순차 데이터 ( Sequential Data )..

Deep Learning 01. 1. 순차 데이터 ( Sequential Data ) 001. 순차데이터의 개념 순차데이터 ( Sequential Data ) : 순서가 의미가 있으며, 순서가 달라지는 경우 의미가 손상되는 데이터를 의미한다. 순차 데이터 중에서, Temporal Sequence 는 시간적 의미가 있는 것을 의미한다. 그것이 일정한 시간차라면 Time Series 라고 한다. 002. 순차데이터의 Resampling Resampling 이란, Temporal Sequence를 Time Series로 변환하기 위해 수행하는 것이다. resampling을 수행하는 방법으로 1) 데이터를 보간(Interpolation)한다. 즉, 데이터를 추정하여 비어있는 시간의 사이사이를 매꾸는 작업을 한다..