Apache Airflow

Yaşarcan YılmazBig Data Engineer @ VNGRS

Akış• Neden bir akış yöneticisine ihtiyaç duyarız?

• Tarihçe

• Güncel Durum

• İç İşleyişi ve Çalışma Sistemi

• Bileşenleri

• Örnek İş Akışı

Neden bir akış yöneticisine ihtiyaç duyarız?

• Çok farklı kaynaklardan veri okuyup işliyoruz.

• Data Lake kavramı hayatımıza tam olarak girdi.

• Birden fazla işin sonucunu kullanan başka işler mevcut.

• Bazı işlerin çalıştığından ve sorunsuz bittiğinden emin olmak, aksi durumda sorunun ne olduğundan haberdar olmak isteriz.

Tarihçe

• Ekim 2014’te Airbnb’de geliştirilmeye başlandı.

• Haziran 2015’te duyuruldu.

• Mart 2016’da Apache Software Foundation Incubating Program’ına katıldı.

• Aktif geliştirme süreci devam ediyor.

Güncel Durum

• Birleştirilmiş 3348 PR (Birleştirme İsteği (?))

İç İşleyişi ve Çalışma Sistemi

• Workers

• Web UI

• Scheduler/Executor

• Webserver

• Database

Bileşenleri• DAG, Sub Dags

• Operator

• Bash Operator

• Python Operator

• Email Operator

• MySQL Operator, Sqlite Operator, Postgres Operator, OracleOperator, JDBC Operator

• Hooks

• Connection

• Branching

• SLA

• Trigger Rule

Örnek İş Akışı