인공지능 개발자 수다

Transforers 버전 : 4.57.1 1. Transformers란 무엇인가?Hugging Face의 Transformers 라이브러리는 현대 자연어 처리와 생성형 AI 모델을 개발하고 활용하는 데 필요한 표준 툴킷DeepSeek, Mistral, BERT 같은 대규모 언어모델을 쉽고 빠르게 불러오고, 추론하고, 파인튜닝할 수 있도록 통합된 인터페이스를 제공 Transformers의 핵심 가치는 아래 네 가지로 요약할 수 있다.수천 개의 사전학습 모델 제공Hugging Face Hub에 업로드된 모든 모델을 from_pretrained() 한 줄로 불러올 수 있다.통일된 Tokenizer & Model API모델 종류가 달라도 공통된 규칙으로 토크나이즈하고 추론할 수 있다.파인튜닝을 위한 Train..

0. 개요LLM을 학습하기 위해어떤 도구들을 사용할 줄 알아야 하는지에 대해 알아보고,각 도구는 왜 사용하는지 설명을 하겠다. 1. PytorchLLM의 뼈대가 되는 딥러닝 프레임워크.모델 만들고, 학습시키고, GPU에서 계산 돌리는 모든 기초를 담당하는 가장 기본 도구. 다음과 같은 상황에 사용한다.간단한 SFT는 Trainer로 가능하지만, 연구나 실제 개발은 반드시 PyTorch가 필요“논문 구현하거나 알고리즘을 custom 해야 한다”기본 구조를 수정해야 한다학습 코드를 deep level에서 디버깅해야 한다 2. Transformers (HuggingFace)GPT, LLaMA 같은 LLM 모델을 바로 가져다 쓰고 학습할 수 있는 라이브러리.토크나이저, 모델 구조, Trainer, generat..

이 글은 2025.01.28 기준이다. 1. 파이썬 환경 구성먼저 pyenv를 이용해 적절한 python을 설치해 준다.pyenv install 3.12.4 설치된 파이썬 확인pyenv versions 파이썬 가상환경을 만들어 준다.pyenv virtualenv 3.12.4 my_env 가상환경 확인pyenv virtualenvs 가상환경 실행activate my_env 2. Pytorch 설치Pytorch 버전은 2.5.1 이 최신이다. MPS (Apple Silicon) 지원 설치 (Mac M1/M2) 또는 CPU 전용 설치pip install torch torchvision torchaudio Cuda를 사용하는 경우예시: CUDA 11.8pip install torch torchvision tor..

0. 개요DeepSeek가 현재 상당한 이슈가 되고 있다.게다가 오픈소스로 Huggingface에 올라와 있어실행이 가능하다고 하니, 한번 실행해 보도록 하자. huggingface 링크 deepseek-ai/DeepSeek-R1 · Hugging FaceDeepSeek-R1 Paper Link👁️ 1. Introduction We introduce our first-generation reasoning models, DeepSeek-R1-Zero and DeepSeek-R1. DeepSeek-R1-Zero, a model trained via large-scale reinforcement learning (RL) without supervised fine-tuning (SFT) as a prelhug..

1. Torchvision(토치비전)은 언제 사용? 컴퓨터 비전 프로젝트에서 사용함. 2. Torchvision(토치비전)의 주요 기능 요약 데이터셋 접근 및 사용: torchvision은 MNIST, CIFAR-10, ImageNet 등 다양한 사전 정의된 데이터셋을 제공합니다. 이를 통해 쉽게 데이터를 로드하고 실험할 수 있습니다. 데이터 변환(Transformation): 이미지 데이터를 전처리하거나 증강하기 위한 다양한 변환 기능을 제공합니다. 예를 들어, 이미지의 크기를 조정하거나, 회전, 뒤집기 등의 작업을 쉽게 수행할 수 있습니다. 모델: 사전 훈련된 다양한 모델을 제공하여, 이미지 분류, 객체 탐지, 세그멘테이션 등 다양한 비전 태스크에 활용할 수 있습니다. ResNet, VGG, Alex..

출처: 파이토치 튜토리얼 PyTorch로 TensorBoard 사용하기 TensorBoard는 머신러닝 실험을 위한 시각화 툴킷(toolkit)입니다. TensorBoard를 사용하면 손실 및 정확도와 같은 측정 항목을 추적 및 시각화하는 것, 모델 그래프를 시각화하는 것, 히스토그램을 보는 tutorials.pytorch.kr 1. 텐서보드(Tensorboard)는 언제 사용하면 좋을까? 모델 성능 분석: 모델의 학습 과정에서 손실과 정확도 같은 지표를 시각화하여, 모델이 잘 학습하고 있는지, 어떤 지점에서 문제가 발생하는지 분석할 때 유용합니다. 하이퍼파라미터 튜닝: 다양한 하이퍼파라미터의 조합을 실험하며 그 결과를 기록하고 비교할 때, TensorBoard를 사용하면 각 설정의 성능을 쉽게 비교하고..

0. 글 소개 딥러닝 학습을 위한 기초 예제코드 출처: pytorch 튜토리얼 1. 모델 클래스 정의 import torch import torch.nn as nn import torch.nn.functional as F class Net(nn.Module): def __init__(self): super(Net, self).__init__() # 부모 클래스 상속 받아야함 # 컨볼루션 커널 정의 self.conv1 = nn.Conv2d(1, 6, 5) self.conv2 = nn.Conv2d(6, 16, 5) # 아핀(affine) 연산: y = Wx + b self.fc1 = nn.Linear(16 * 5 * 5, 120) # 5*5은 이미지 차원에 해당 self.fc2 = nn.Linear(120,..