airflow ozgur yazilim 2018-06-05¢  apache / incubator-airflow Watch 547 Unstar 8,040 Fork...

download airflow ozgur yazilim 2018-06-05¢  apache / incubator-airflow Watch 547 Unstar 8,040 Fork Apache-2.0

of 8

  • date post

    20-May-2020
  • Category

    Documents

  • view

    0
  • download

    0

Embed Size (px)

Transcript of airflow ozgur yazilim 2018-06-05¢  apache / incubator-airflow Watch 547 Unstar 8,040 Fork...

  • Apache Airflow

    Yaşarcan Yılmaz

    Big Data Engineer @ VNGRS

  • Akış • Neden bir akış yöneticisine ihtiyaç duyarız?

    • Tarihçe

    • Güncel Durum

    • İç İşleyişi ve Çalışma Sistemi

    • Bileşenleri

    • Örnek İş Akışı

  • Neden bir akış yöneticisine ihtiyaç duyarız?

    • Çok farklı kaynaklardan veri okuyup işliyoruz.

    • Data Lake kavramı hayatımıza tam olarak girdi.

    • Birden fazla işin sonucunu kullanan başka işler mevcut.

    • Bazı işlerin çalıştığından ve sorunsuz bittiğinden emin olmak, aksi durumda sorunun ne olduğundan haberdar olmak isteriz.

  • Tarihçe

    • Ekim 2014’te Airbnb’de geliştirilmeye başlandı.

    • Haziran 2015’te duyuruldu.

    • Mart 2016’da Apache Software Foundation Incubating Program’ına katıldı.

    • Aktif geliştirme süreci devam ediyor.

  • Güncel Durum

    • Birleştirilmiş 3348 PR (Birleştirme İsteği (?))

  • İç İşleyişi ve Çalışma Sistemi

    • Workers

    • Web UI

    • Scheduler/Executor

    • Webserver

    • Database

  • Bileşenleri • DAG, Sub Dags

    • Operator

    • Bash Operator

    • Python Operator

    • Email Operator

    • MySQL Operator, Sqlite Operator, Postgres Operator, OracleOperator, JDBC Operator

    • Hooks

    • Connection

    • Branching

    • SLA

    • Trigger Rule

  • Örnek İş Akışı