From the bottom

AI/PyTorch 검색 결과

해당 글 11건

[numpy] .all() , .any()

2개 함수 모두 bool 값을 리턴한다. np.all() 배열의 모든 원소가 참(true)인지 평가하는 함수. np.any() 배열에서 1개 이상의 원소가 참인지 평가하는 함수.

AI/PyTorch 2019. 12. 18. 15:04

간단 순서 정리

1. 데이터 준비 (트레이닝, 검증, 테스트 셋) 2. Baseline model 만들기 (기준점수 넘을때까지) 오차 함수 선택 (loss/cost function) 최적화 (optimizer) 3. 과적합될 때까지 역량늘리기 레이어 추가 가중치 늘리기 에포크 늘리기 트레이닝 정확도는 증가하지만 검증 정확도는 증가하지않고 떨어지기 시작하면 중단. (과적합) 4. 가중치 규제 적용 드롭아웃 추가 (일반적으로 0.2 작은값으로부터 시작) 아키텍쳐 변경 (활성화 함수, 레이어수, 가중치크기 변경) L1 or L2 regularization 적용 learning rate 변경 특성추가 및 데이터셋

AI/PyTorch 2019. 11. 13. 13:47

[PyTorch] MNIST CNN

import torch import torch.nn as nn import torchvision.datasets as dsets import torchvision.transforms as transforms device = 'cuda' if torch.cuda.is_available() else 'cpu' torch.manual_seed(777) if device == 'cuda': torch.cuda.manual_seed(777) batch_size = 100 learning_rate = 0.001 training_epochs = 15 mnist_train = dsets.MNIST(root='PATH', train=True, transform=transforms.ToTensor()) mnist_test..

AI/PyTorch 2019. 11. 6. 12:15

[PyTorch] Convolution

[Conv2d] torch.nn.Conv2d(in_channels, out_channels, kernel_size, stride=1, padding=0, dilation=1, groups=1, bias=True, padding_mode='zeros') out_channels에 따라 결과 feature map의 channel 수가 결정됨. The parameters kernel_size, stride, padding, dilation can either be: a single int – in which case the same value is used for the height and width dimension a tuple of two ints – in which case, the first int i..

AI/PyTorch 2019. 10. 29. 11:37

[PyTorch] MNIST with Batch Normalization

Batch Normalization dropout과 동일하게 model.train( ), model.eval( ) 사용해야 함. import torch import torchvision.datasets as dsets import torchvision.transforms as transforms device = 'cuda' if torch.cuda.is_available() else 'cpu' mnist_train = dsets.MNIST(root='MNIST_data/', train=True, download=True, transform=transforms.ToTensor()) mnist_test = dsets.MNIST(root='MNIST_data/', train=True, download=True..

AI/PyTorch 2019. 10. 29. 10:34

[PyTorch] MNIST with Dropout

[Dropout] (class) torch.nn.Dropout(p=0.5, inplace=False) Overfitting을 해결할 수 있는 방법 중 하나. Ensemble의 효과를 낼 수 있음. (매 학습마다 형태가 변형 되기 때문에) Parameters p – probability of an element to be zeroed. Default: 0.5 inplace – If set to True, will do this operation in-place. Default: False !!!!중요!!!! train 시작 전 model.train()으로 dropout 사용을 명시해줘야 함. 또한 test 전 model.eval()로 dropout 사용안함을 명시해줘야 함. import torch impo..

AI/PyTorch 2019. 10. 28. 17:40

[PyTorch] MNIST with ReLU and Weight Initialization

torch.nn.init.normal_(tensor, mean=0.0, std=1.0) Fills the input Tensor with values drawn from the normal distribution N(mean, std^2) Parameters tensor – an n-dimensional torch.Tensor mean – the mean of the normal distribution std – the standard deviation of the normal distribution import torch import torchvision.datasets as dsets import torchvision.transforms as transforms import random device ..

AI/PyTorch 2019. 10. 28. 16:08

[PyTorch] MNIST Introduction

MNIST : 손글씨 숫자 분류. 이미지 크기는 28*28임. import torch import torchvision.datasets as dsets import torchvision.transforms as transforms import random import matplotlib.pyplot as plt device = 'cuda' if torch.cuda.get_device_name('cuda') else 'cpu' random.seed(777) torch.manual_seed(777) if device == 'cuda': torch.cuda.manual_seed(777) # parameters 설정 epochs = 15 batch_size = 100 # torchvision.datasets 에..

AI/PyTorch 2019. 10. 28. 11:56