airflow ozgur yazilim · 2018-06-05 · apache / incubator-airflow Watch 547 Unstar 8,040 Fork...

8
Apache Airflow Yaşarcan Yılmaz Big Data Engineer @ VNGRS

Transcript of airflow ozgur yazilim · 2018-06-05 · apache / incubator-airflow Watch 547 Unstar 8,040 Fork...

Page 1: airflow ozgur yazilim · 2018-06-05 · apache / incubator-airflow Watch 547 Unstar 8,040 Fork Apache-2.0 2,571 O Code Pull requests 210 Projects O p 7 branches Insights 0 90 releases

Apache Airflow

Yaşarcan YılmazBig Data Engineer @ VNGRS

Page 2: airflow ozgur yazilim · 2018-06-05 · apache / incubator-airflow Watch 547 Unstar 8,040 Fork Apache-2.0 2,571 O Code Pull requests 210 Projects O p 7 branches Insights 0 90 releases

Akış• Neden bir akış yöneticisine ihtiyaç duyarız?

• Tarihçe

• Güncel Durum

• İç İşleyişi ve Çalışma Sistemi

• Bileşenleri

• Örnek İş Akışı

Page 3: airflow ozgur yazilim · 2018-06-05 · apache / incubator-airflow Watch 547 Unstar 8,040 Fork Apache-2.0 2,571 O Code Pull requests 210 Projects O p 7 branches Insights 0 90 releases

Neden bir akış yöneticisine ihtiyaç duyarız?

• Çok farklı kaynaklardan veri okuyup işliyoruz.

• Data Lake kavramı hayatımıza tam olarak girdi.

• Birden fazla işin sonucunu kullanan başka işler mevcut.

• Bazı işlerin çalıştığından ve sorunsuz bittiğinden emin olmak, aksi durumda sorunun ne olduğundan haberdar olmak isteriz.

Page 4: airflow ozgur yazilim · 2018-06-05 · apache / incubator-airflow Watch 547 Unstar 8,040 Fork Apache-2.0 2,571 O Code Pull requests 210 Projects O p 7 branches Insights 0 90 releases

Tarihçe

• Ekim 2014’te Airbnb’de geliştirilmeye başlandı.

• Haziran 2015’te duyuruldu.

• Mart 2016’da Apache Software Foundation Incubating Program’ına katıldı.

• Aktif geliştirme süreci devam ediyor.

Page 5: airflow ozgur yazilim · 2018-06-05 · apache / incubator-airflow Watch 547 Unstar 8,040 Fork Apache-2.0 2,571 O Code Pull requests 210 Projects O p 7 branches Insights 0 90 releases

Güncel Durum

• Birleştirilmiş 3348 PR (Birleştirme İsteği (?))

Page 6: airflow ozgur yazilim · 2018-06-05 · apache / incubator-airflow Watch 547 Unstar 8,040 Fork Apache-2.0 2,571 O Code Pull requests 210 Projects O p 7 branches Insights 0 90 releases

İç İşleyişi ve Çalışma Sistemi

• Workers

• Web UI

• Scheduler/Executor

• Webserver

• Database

Page 7: airflow ozgur yazilim · 2018-06-05 · apache / incubator-airflow Watch 547 Unstar 8,040 Fork Apache-2.0 2,571 O Code Pull requests 210 Projects O p 7 branches Insights 0 90 releases

Bileşenleri• DAG, Sub Dags

• Operator

• Bash Operator

• Python Operator

• Email Operator

• MySQL Operator, Sqlite Operator, Postgres Operator, OracleOperator, JDBC Operator

• Hooks

• Connection

• Branching

• SLA

• Trigger Rule

Page 8: airflow ozgur yazilim · 2018-06-05 · apache / incubator-airflow Watch 547 Unstar 8,040 Fork Apache-2.0 2,571 O Code Pull requests 210 Projects O p 7 branches Insights 0 90 releases

Örnek İş Akışı