인공지능 시대

1. Torchvision(토치비전)은 언제 사용? 컴퓨터 비전 프로젝트에서 사용함. 2. Torchvision(토치비전)의 주요 기능 요약 데이터셋 접근 및 사용: torchvision은 MNIST, CIFAR-10, ImageNet 등 다양한 사전 정의된 데이터셋을 제공합니다. 이를 통해 쉽게 데이터를 로드하고 실험할 수 있습니다. 데이터 변환(Transformation): 이미지 데이터를 전처리하거나 증강하기 위한 다양한 변환 기능을 제공합니다. 예를 들어, 이미지의 크기를 조정하거나, 회전, 뒤집기 등의 작업을 쉽게 수행할 수 있습니다. 모델: 사전 훈련된 다양한 모델을 제공하여, 이미지 분류, 객체 탐지, 세그멘테이션 등 다양한 비전 태스크에 활용할 수 있습니다. ResNet, VGG, Alex..

출처: 파이토치 튜토리얼 PyTorch로 TensorBoard 사용하기 TensorBoard는 머신러닝 실험을 위한 시각화 툴킷(toolkit)입니다. TensorBoard를 사용하면 손실 및 정확도와 같은 측정 항목을 추적 및 시각화하는 것, 모델 그래프를 시각화하는 것, 히스토그램을 보는 tutorials.pytorch.kr 1. 텐서보드(Tensorboard)는 언제 사용하면 좋을까? 모델 성능 분석: 모델의 학습 과정에서 손실과 정확도 같은 지표를 시각화하여, 모델이 잘 학습하고 있는지, 어떤 지점에서 문제가 발생하는지 분석할 때 유용합니다. 하이퍼파라미터 튜닝: 다양한 하이퍼파라미터의 조합을 실험하며 그 결과를 기록하고 비교할 때, TensorBoard를 사용하면 각 설정의 성능을 쉽게 비교하고..

0. 글 소개 딥러닝 학습을 위한 기초 예제코드 출처: pytorch 튜토리얼 1. 모델 클래스 정의 import torch import torch.nn as nn import torch.nn.functional as F class Net(nn.Module): def __init__(self): super(Net, self).__init__() # 부모 클래스 상속 받아야함 # 컨볼루션 커널 정의 self.conv1 = nn.Conv2d(1, 6, 5) self.conv2 = nn.Conv2d(6, 16, 5) # 아핀(affine) 연산: y = Wx + b self.fc1 = nn.Linear(16 * 5 * 5, 120) # 5*5은 이미지 차원에 해당 self.fc2 = nn.Linear(120,..

글을 작성하는 데에 아래 자료를 참고하였습니다. 블로그 글 딥러닝의 정석 (한빛미디어) 1. 활성화 함수 사용 이유¶ 선형 뉴런 선형으로 이루어진 $z$에 적용 되는 함수 $f$ $f(x) = az + b$ 계산하기는 쉽지만 은닉층이 없는 신경망으로 표현될 수 있음 은닉층이 없다면 복잡한 관계를 학습하기 어렵다는 문제가 있다 활성화 함수는 딥러닝에 비선형성을 도입하기 위한 방법이다. 바람직한 활성화 함수 Gradient Vanishing 문제가 없어야한다 활성화 함수는 결과값이 0~1사이 값이라면, 역전파 과정에서 여러번 곱해지다보면 초기 학습되던 값이 소실되는 문제가 생겨 학습이 재대로 되지 않을 수 있다. Zero-Centered 활성화 함수의 출력은 기울기가 특정 방향으로 이동하지 않도록 0에서 대..

1. 개요 딥러닝 학습시 OverFitting을 해결하기 위한 다양한 방법에 대해 공부해보자 2. Overfitting 이란 모델이 데이터에 과하게 맞추게 되어, 앞으로 들어올 데이터는 맞지 않도록 학습된 형태 Test 데이터 셋의 Loss값은 작지만, Validation 데이터 셋의 Loss값이 커질때 3. 해결방법 개념 Overfitting을 해결하기 위해서는 일반적으로 모델의 복잡성을 줄이도록 해야 한다. Regularization 기법 3.1. Early Stopping 학습을 중간에 중단 Validation과 Test의 Loss를 모니터링해서 중단 시점을 정함 3.2. Weight decay 3.2.1. L1 Regularization 수식 $$ E(w) = E(w) + \frac{\lambda..

기본개념 https://keraskorea.github.io/posts/2018-10-25-Keras%EB%A5%BC%20%ED%99%9C%EC%9A%A9%ED%95%9C%20%EC%A3%BC%EC%8B%9D%20%EA%B0%80%EA%B2%A9%20%EC%98%88%EC%B8%A1/ A) 기초통계¶ A-4) 조건부 확률¶$$P(Y|X) = \frac{P(X) \cap P(Y)}{P(X)}$$$$ P(Y,X) = P(Y|X) P(Y)$$응용 $$P(Y|X, Z) = \frac{P(Y,X|Z)}{P(Y|Z)}$$$$ P(Y,X|Z) = P(Y|X, Z) P(Y|Z)$$A-2)조건부 기대값¶$$E[Y|X=x] = \sum_{i} p(Y = y_i| X=x)y_i$$설명 : 각 사건이 일어날 확률과 각 사건의..

1. Gradient descent(GD)¶ $w^{t} = w^{t-1} - \eta \frac{\partial E}{\partial W}$ 2. Stochastic gradient decent(SGD)¶ full-batch가 아닌 mini batch로 학습을 진행하는 것(* batch로 학습하는 이유 : full-batch로 epoch마다 weight를 수정하지 않고 빠르게 mini-batch로 weight를 수정하면서 학습하기 위해) 3. Momentum¶ 현재 batch로만 학습하는 것이 아니라 이전의 batch 학습결과도 반영(관성 개념 적용) local minimum을 피하기 위한 방법 $m_{t} = \alpha m^{t-1} - \eta \frac{\partial E}{\partial W}..

In [37]: import tensorflow as tf import numpy as np import pandas as pd tf.__version__ Out[37]: '2.4.0' 1. 개요¶ 1.1. Dataset 설명¶ 데이터에는 여러가지 타입이 있다. 정형데이터 : CSV, Excel, mysql 반정형데이터 : html, xml 비정형데이터 : nosql, jpg, mp3, mp4, 센서데이터 Tensorflow가 데이터를 학습하기 위해서는 위의 다양한 데이터들을 일정한 형식의 데이터 셋으로 변형해야 한다. 1.2. model.fit 에 대한 설명¶ 정리된 데이터셋은 fit 함수의 파라미터로 들어가게 된다. 즉 fit함수에 알맞은 형태로 데이터셋을 만들어야 한다. In [ ]: model.f..

설치 가능 환경¶ TensorFlow는 다음 64비트 시스템에서 테스트 및 지원됩니다. Python 3.5~3.8 Ubuntu 16.04 이상 Windows 7 이상(C++ 재배포 가능 패키지) macOS 10.12.6(Sierra) 이상(GPU 지원 없음) Raspbian 9.0 이상 PIP에서 제공하는 버전¶ Requires the latest pip pip install --upgrade pip Current stable release for CPU and GPU pip install tensorflow pip install tensorflow-gpu==2.4.0 (추천) Or try the preview build (unstable) pip install tf-nightly 최신 버전으로 업데이트..