인공지능 개발자 수다

0. 이전 글/영상 FastAPI로 Hello World 를 출력해 보자. (영상링크) 쿠버네티스 기본적인 사용방법 쿠버네티스(Kubernetes) 기본적인 사용 방법 1. 터미널을 열어줍니다. 쿠버네티스 명령어는 터미널 안에 작성해 주세요. 2. 쿠버네티스 기본 구조 2.1. 클러스터 (Cluster) 쿠버네티스 클러스터는 여러 컴퓨터(물리적 또는 가상)의 그룹으로, 쿠 databoom.tistory.com 파이참(Pycharm)에 Poetry 세팅 파이참(Pycharm)에 Poetry 세팅 1. Poetry 환경 세팅 Poetry는 pyenv와 함께 사용하면 좋다. 먼저 pyenv를 설치하고, 필요한 파이썬 라이브러리를 설치해 주자. 그리고 나서 Poetry를 설치하자. poetry 설치 명령어는 아..

이번 시간에는 쿠버네티스 클러스터에 데이터베이스를 추가해 보겠습니다. 데이터베이스를 쿠버네티스에서 운영할 때는 StatefulSet과 PersistentVolume을 사용하여 데이터의 영속성과 안정성을 보장하는 것이 중요합니다. 그리고 데이터베이스는 PostgreSQL을 이용하겠습니다. 1. PersistentVolume (PV) 및 PersistentVolumeClaim (PVC) 생성 먼저, 데이터를 영구적으로 저장할 PersistentVolume과 이 볼륨을 사용할 PersistentVolumeClaim을 정의합니다. PersistentVolume은 클러스터 리소스로서, 실제 스토리지 시스템에 대한 세부 정보를 포함합니다. PersistentVolumeClaim은 사용자가 이 볼륨을 사용하겠다는 요..

1. 터미널을 열어줍니다. 쿠버네티스 명령어는 터미널 안에 작성해 주세요. 2. 쿠버네티스 기본 구조 2.1. 클러스터 (Cluster) 쿠버네티스 클러스터는 여러 컴퓨터(물리적 또는 가상)의 그룹으로, 쿠버네티스를 사용하여 관리됩니다. 클러스터는 컨테이너화된 애플리케이션을 배포, 관리, 확장하기 위한 환경을 제공합니다. 클러스터 내에서 컨테이너는 포드라는 단위로 구성되어 실행됩니다. 클러스터는 고가용성, 고성능, 확장성 등을 제공하여 애플리케이션의 요구사항을 충족시키기 위해 설계됩니다. 클러스터는 크게 마스터 노드와 워커 노드로 구분됩니다: 마스터 노드: 클러스터의 관리, 스케줄링, 구성 변경 등의 책임을 집니다. API 서버, 스케줄러, 컨트롤러 매니저 등의 구성 요소가 포함됩니다. 워커 노드: 실제..

0. 개인 로컬 PC에 쿠버네티스를 설치하는 이유 개인 노트북/로컬 PC에 쿠버네티스를 설치하는 경우, 일반적으로 개발, 테스트, 학습 및 실험 목적으로 사용합니다. 로컬 환경에서 쿠버네티스를 사용하면 실제 운영 환경에 배포하기 전에 애플리케이션을 개발하고 테스트할 수 있으며, 쿠버네티스의 다양한 기능과 워크플로우를 직접 경험하고 익힐 수 있습니다. 실무에서는 실제 운영서버에 쿠베너티스를 설치하거나, AWS의 EKS, Google Cloud의 GKE, Azure의 AKS와 같은 관리형 쿠버네티스 서비스를 사용. 1. Macbook M1 기준 1) Homebrew 설치: Homebrew가 아직 설치되어 있지 않다면, 터미널에서 다음 명령어를 실행하여 설치 /bin/bash -c "$(curl -fsSL h..

1. 쿠베너티스란 쿠버네티스(Kubernetes)는 컨테이너화된 애플리케이션의 배포, 확장 및 관리를 자동화하기 위한 오픈 소스 플랫폼. 컨테이너화된 애플리케이션을 여러 서버 환경에서 운영할 수 있게 해주며, 고가용성, 확장성, 무중단 서비스를 실현할 수 있도록 지원 쿠버네티스는 컨테이너를 클러스터 내의 다양한 물리적 또는 가상 머신에 자동으로 배치하고, 애플리케이션의 상태를 모니터링하여 정의된 상태를 유지하도록 관리 오케스트레이션(Orchestration) 도구로 다수의 컨테이너나 마이크로서비스, 가상 머신 등을 효율적으로 배치하고, 관리하며, 조정하는 과정을 포함 2. 특징 자동화된 배포 확장성 로드 밸런싱 운영을 더욱 신속하고 안정적 3. 자주 사용하는 컨테이너의 용도 마이크로서비스 아키텍처 배치 ..

1. 설치 anaconda 설치 conda install conda-forge::mlflow pip 설치 pip install mlflow 2. MLflow로 할 수 있는 일 요약 실험 추적(MLflow Tracking): MLflow Tracking을 사용하면 머신러닝 실험의 매개변수, 코드 버전, 메트릭 및 결과 파일(예: 모델)을 기록하고 비교 프로젝트(MLflow Projects): MLflow Projects는 머신러닝 코드를 패키징하고 재사용할 수 있는 방법을 제공 모델 관리(MLflow Models): MLflow Models는 머신러닝 모델을 다양한 ML 라이브러리에서 사용할 수 있는 표준 포맷으로 패키징 모델 서빙(MLflow Model Serving): MLflow를 사용하면 학습된 모..

1. AWS Lambda 란 무엇인가 기능 실행단위 '함수' 트리거를 설정하여, 조건이 충족되면 함수를 실행 EC2와 다른 점 서버 없이 실행 실행이 종료되면 함수가 종료되어 비용이 발생하지 않음 배치 작업에 적합 2. 세팅 방법 2.1. 함수를 생성해 준다 2.2. 실행환경 4가지 중 선택 새로작성 AWS Lambda는 RedHat Amazon Linux(OS) 에서 동작 python 버전을 선택 할 수 있음 필요한 라이브러리는 직접 올려야 함 컨테이너 이미지 Docker 이미지를 사용 할 수 있음 서버리스 앱은 리포지토리 찾아보기 누군가 만들어놓은 환경을 사용할 수 있음

1. 데이터 레이크는 왜 필요할까? 데이터의 양이 많지 않고 앞으로도 쌓일 데이터가 없을 것이라고 예상된다면, 데이터 레이크는 필요하지 않다. 그러나 빅데이터가 존재하는 곳이라면 데이터레이크는 필수적이다. 지금은 데이터가 곧 돈이 되는 정보화 시대이다. 생성된 데이터를 그냥 버리는 것이 아니라, 잘 정리해서 모아두는 것이 현 시대에 아주 중요한 일이 아닐 수 없다. 2. 데이터 레이크란 2.1. 목적 데이터 분석을 위해 데이터를 쌓음 인공지능 학습을 위해 데이터를 쌓음 2.2. 특징 Raw 데이터를 있는 그대로 저징해 두는 저장소 대용량 데이터 정형/비정형 데이터 모두 저장 중앙 집중식 저장소 분산 시스템 2.3. 단점 관리하기가 복잡하다 데이터 사용시 변형을 해야한다. 3. 제품 3.1. 클라우드 제품..