인공지능 개발자 수다

[Airflow] 설치 방법 (로컬 환경)

1. 개요Airflow는 다양한 방법으로 설치할 수 있습니다. Docker, Kubernetes, Helm Chart를 이용한 배포도 가능하지만, 학습 목적이나 작은 규모의 테스트 환경에서는 로컬 파이썬 환경에서 바로 설치하는 것이 가장 간단합니다.이 장에서는 Python 가상환경을 활용해 Airflow를 설치하고 실행하는 방법을 다룹니다. Airflow는 Linux/Unix 계열 환경을 기준으로 개발되었기 때문에, 공식적으로는 윈도우 실행을 지원하지 않습니다.airflow scheduler 같은 일부 프로세스가 윈도우에서 정상 동작하지 않거나, 의존성 충돌이 발생할 수 있습니다. 2. 사전 준비Airflow는 여러 의존성을 가지므로 설치 전 다음 사항을 확인해야 합니다.Python 3.8 이상 (권장:..

[Airflow] 개요

1. Airflow란 무엇인가Apache Airflow는 워크플로우 관리 플랫폼(Workflow Orchestration Tool) 입니다.데이터 처리, 머신러닝 학습, 배치 작업과 같이 여러 단계가 순차적·병렬적으로 실행되는 파이프라인을 코드로 정의하고, 스케줄링하며, 모니터링할 수 있게 도와줍니다. Airflow의 철학은 다음과 같이 요약할 수 있습니다.Workflows as Code: 워크플로우를 Python 코드로 작성Dynamic: 조건, 반복, 동적 태스크 생성 가능Scalable: 작은 로컬 파이프라인부터 클러스터 운영까지 확장 가능Elegant: UI를 통한 모니터링과 직관적인 DAG 시각화 제공 2. 왜 Airflow가 필요한가데이터 및 AI 프로젝트에서는 보통 다음과 같은 문제가 발생합..