Was ist Big Data?

Click here to load reader

  • date post

    13-Apr-2022
  • Category

    Documents

  • view

    0
  • download

    0

Embed Size (px)

Transcript of Was ist Big Data?

Business Solutions Community: Bericht, Strategie und Planung2017
2
Alles dauert lang
Viel zu teuer
Unstrukturierte Daten
Komplex, mühsam
4
mehreren […] heterogenen Quellen
zusammenführt und verdichtet.
6
Warum Big Data? Paradigmenwechsel
Woher kommen die Daten?
gesammelten Daten zeitnah und skalierbar Wissen zu schöpfen
8
9
• Strukturierte und
10
• McKinsey
Big Data refers to datasets whose size is beyond the ability of typical
database software tools to capture, store, manage, and analyze.
• Gartner
assets that require new forms of processing to enable enhanced
decision making, insight discovery, and process optimization.
• BARC
Big Data designates methods and technologies for the highly scalable
acquisition, storage, and analysis of polystructured data
Unkonventionelle Methoden und Tools
11
12
Big Data is a technology. They are not the
same thing at all … There simply is not the
carefully constructed and carefully
maintained infrastructure surrounding Big
Sarbanes-Oxley reporting or Basel II
reporting isn’t long for his/her job.”
http://www.forestrimtech.com/big-data-vs-data-warehouse
… a Data Warehouse needs to encompass
Big Data and I hope that all folks working
with those (Big Data) topics realize that
they are part of the larger Data Warehouse
team“
storage constraints. The disruptive
13
Big Data „in Ordnung bringen“ – Schritt 1
Big Data „in Ordnung bringen“ – Schritt 2
Die Leinwand des Architekten
IT Operations Business StakeholdersBI Competence Center
Un-/Semi-
Ein DWH!
IT Operations Business StakeholdersBI Competence Center
Un-/Semi-
Big Data!
IT Operations Business StakeholdersBI Competence Center
Un-/Semi- structured Data
• Data Lab Ansatz
• Umfangreicheres Know-How
… und was ist mit umfassenden Lösungen? (Wie bspw. ein DWH)
• Methoden? Architektur? Infrastruktur? Modelle?
Big Data Analytics – Architekturbeispiel
All Data
API
unstructured data
NoSQL – Einsatzgebiete
toolgestütztem Programmierframework (Map/Reduce) und Ressource
Management Service (YARN) für große Cluster aus günstigen
Shared-Nothing Servern.
• Apache Hive
Programmgenerierung
Map/Reduce
Ein Open Source Data Analytics Cluster Computing Framework. Seit
zwei Jahren eines der heißesten Themen bei Big Data. Für Batch-
und Streamverarbeitung, Data Mining und mehr.
• Apache Kafka
(Streaming etc.) auch als Confluent Kafka Platform erhältlich.
• NoSQL Datenbanken
Klasse von DBMS, die nicht dem relationalen Modell folgen. NoSQL =
not only SQL.
Deutsche ORACLE Anwender Gruppe (1)
http://www.oracle.com/ocom/groups/public/@otn/documents/webcontent/2297765.pdf
Data Acquisition
Data Sources
IT Operations Business StakeholdersBI Competence Center
Un-/Semi-
Enterprise „R“
Oracle Big Data Statement of Direction
http://www.oracle.com/technetwork/database/bigdata-appliance/overview/sod-bdms-2015-04-final-2516729.pdf
Data Warehouse
Deutsche ORACLE Anwender Gruppe (4)
“A favorite hobby of new entrants to the database market is to
paint Oracle, the market-leading database, as inflexible and
promote their product on the basis that Oracle will never be able to
provide the same type of functionality as their new platform. Such
vendors pursue this positioning at their peril: object-oriented
databases, massively-parallel databases, columnar databases,
data warehouse appliances and other trends have been outed as
replacements for Oracle Database only to later see their core
benefits subsumed by the Oracle platform.”
Widerstand ist zwecklos!
Wer hat Interesse sich aktiv in der DOAG
Business Intelligence Community zu
Frage: Wieviel Aufwand wird auf mich zukommen?
Antwort: So viel Du möchtest, aber es werden wohl mind. 6 PT im Jahr sein.
Danke fürs Mitmachen!