인공지능 개발자 수다

1. DAG 개념Directed : Task가 방향성을 가진다 (선후 관계가 있음)Acyclic : 순환이 없다.Graph : Task의 관계를 나타낸 구조 2. DAG 정의dag_id : DAG 이름 (고유 식별자)start_date : 기준 시각. 과거로 두면 catchup이 True일 때 과거 분량이 밀린다. 학습 중에는 보통 catchup을 False로 둔다.schedule_interval : 실행주기, 크론 문자열이나 프리셋을 쓴다. 예, @once, @hourly, @daily, 0 9 * * *.catchup: True면 과거 실행분을 밀린 것까지 수행default_args: 공통 인자 (owner, retries, retry_delay 등)tags: DAG 그룹핑 및 검색 태그from da..

1. 개요Airflow는 다양한 방법으로 설치할 수 있습니다. Docker, Kubernetes, Helm Chart를 이용한 배포도 가능하지만, 학습 목적이나 작은 규모의 테스트 환경에서는 로컬 파이썬 환경에서 바로 설치하는 것이 가장 간단합니다.이 장에서는 Python 가상환경을 활용해 Airflow를 설치하고 실행하는 방법을 다룹니다. Airflow는 Linux/Unix 계열 환경을 기준으로 개발되었기 때문에, 공식적으로는 윈도우 실행을 지원하지 않습니다.airflow scheduler 같은 일부 프로세스가 윈도우에서 정상 동작하지 않거나, 의존성 충돌이 발생할 수 있습니다. 내용 출처 Airflow Docs Quick Start — Airflow 3.0.4 Documentation airflow...

1. Airflow란 무엇인가Apache Airflow는 워크플로우 관리 플랫폼(Workflow Orchestration Tool) 입니다.데이터 처리, 머신러닝 학습, 배치 작업과 같이 여러 단계가 순차적·병렬적으로 실행되는 파이프라인을 코드로 정의하고, 스케줄링하며, 모니터링할 수 있게 도와줍니다. Airflow의 철학은 다음과 같이 요약할 수 있습니다.Workflows as Code: 워크플로우를 Python 코드로 작성Dynamic: 조건, 반복, 동적 태스크 생성 가능Scalable: 작은 로컬 파이프라인부터 클러스터 운영까지 확장 가능Elegant: UI를 통한 모니터링과 직관적인 DAG 시각화 제공 2. 왜 Airflow가 필요한가데이터 및 AI 프로젝트에서는 보통 다음과 같은 문제가 발생합..