인공지능 개발자 수다

0. 글 소개 딥러닝 학습을 위한 기초 예제코드 출처: pytorch 튜토리얼 1. 모델 클래스 정의 import torch import torch.nn as nn import torch.nn.functional as F class Net(nn.Module): def __init__(self): super(Net, self).__init__() # 부모 클래스 상속 받아야함 # 컨볼루션 커널 정의 self.conv1 = nn.Conv2d(1, 6, 5) self.conv2 = nn.Conv2d(6, 16, 5) # 아핀(affine) 연산: y = Wx + b self.fc1 = nn.Linear(16 * 5 * 5, 120) # 5*5은 이미지 차원에 해당 self.fc2 = nn.Linear(120,..

1. 개요 딥러닝 학습시 OverFitting을 해결하기 위한 다양한 방법에 대해 공부해보자 2. Overfitting 이란 모델이 데이터에 과하게 맞추게 되어, 앞으로 들어올 데이터는 맞지 않도록 학습된 형태 Test 데이터 셋의 Loss값은 작지만, Validation 데이터 셋의 Loss값이 커질때 3. 해결방법 개념 Overfitting을 해결하기 위해서는 일반적으로 모델의 복잡성을 줄이도록 해야 한다. Regularization 기법 3.1. Early Stopping 학습을 중간에 중단 Validation과 Test의 Loss를 모니터링해서 중단 시점을 정함 3.2. Weight decay 3.2.1. L1 Regularization 수식 $$ E(w) = E(w) + \frac{\lambda..