Airflow

[Airflow] 개념 이해하기 Airflow에 대한 공식문서의 설명 Airflow 는 워크플로우를 프로그래밍 방식으로 작성, 스케줄링 및 모니터링하는 플랫폼입니다. Airflow 를 사용하여 워크플로우를 비순환 그래프로 작성할 수 있습니 sawaca96.tistory.com Airflow 두번째 글 입니다. Helm Chart를 이용해서 k8s위에 Airflow를 설치해보려고 합니다. 우선 많이 사용하는 차트는 아래 2가지 옵션이 있습니다. airflow-stable → Airflow community에서 개발한 차트입니다. astronomer/airflow-chart → Airflow as a Service를 개발하는 astronomer에서 공개한 차트입니다. 저는 airflow-stable을 이용해..

Airflow에 대한 공식문서의 설명 Airflow는 워크플로우를 프로그래밍 방식으로 작성, 스케줄링 및 모니터링하는 플랫폼입니다. Airflow를 사용하여 워크플로우를 비순환 그래프로 작성할 수 있습니다. Airflow 스케줄러는 지정된 종속성을 따르면서 워커에게 작업을 부여합니다. 다양한 명령어들을 통해 복잡한 작업도 수행할 수 있습니다. 훌륭한 인터페이스를 통해서 운영 중인 파이프라인을 쉽게 시각화하고, 진행 상황을 모니터링하며, 필요할 때 문제를 해결할 수 있습니다. 워크플로우가 코드로 정의되면 유지 관리, 버전 관리, 테스트 및 협업 기능이 향상됩니다. 💡 비순환 그래프는 순환하는 싸이클이 존재하지 않고 일방향성만 가지는것을 의미합니다. 요약하면 Airflow는 개발자가 작성한 Python DA..