Promo Minor Big data in Urban Jurjen Helmus / Nanda PiersmaUniversity of Applied Sciences Amsterdam

Urban TechnologyOpdracht 1 –

Het big data Landschap

Het doel van deze opdracht is• dat je een beeld hebt bij historische context en

huidige staat van Big Data• dat je de verschillende type software kent• dat je enig Jargon kent• Dat je zelfstandig uit kunt zoeken wat pro’s en

con’s van software zijn

... Hoe groot is BIG DATA?

Vanuit mijn persoonlijke ervaring met de groei van bits naar bytes

Sharp mz700 (32kB RAM)

Commodore 64 (64kB RAM)

AMD 386sx DOS 16mB RAM

Pentium 1..2..3..4..etc (4mB tot 128GB RAM)

IBM mainframes (Gig’s floating around)

Focus op veel eenvoudig berekenen ipv zware berekeningen

Clients

orders

mainframe

Print job

Van CPU naar GPU

Relational databases (SQL alike, 100MB tot 10GB data)

Het opschalen van een SQL DB leidt tot fundamentele problemen

SQL server

1 gebruiker, 1MB data, 1 database

SQL server

10 gebruikers, 10GB data, 1 database

Applicatie server

File servers

SQL serverData

1000 gebruikers, 10 TB, 1 SQL server

Applicatie server

van small data naar big bigger biggest data

Matt Turck

Another key thing to understand: Big Data success is not about implementing one piece of technology (like Hadoop or anything else), but instead requires putting together an assembly line of technologies, people and processes.  You need to capture data, store data, clean data, query data, analyze data, visualize data.   Some of this will be done by products, and some of it will be done by humans.  Everything needs to be integrated seamlessly. Ultimately, for all of this to work, the entire company, starting from senior management, needs to commit to building a data-driven culture, where Big Data is not “a” thing, but “the” thing.

https://www.linkedin.com/pulse/big-data-still-thing-2016-landscape-matt-turck

Meer data

Op basis van 6 onderliggende ontwikkelingen ontstond Big Data

Het schalingsprobleem wordt door het map-reduce model volledig opgelost

Niet traditionele (noSQL) databases ontstonden doordat er

http://www.vikramtakkar.com/2015/12/nosql-types-of-nosql-database-part-2.html

Key Value store databases

Document stores

Graph database

Column Store

Ja maar…. Hadoop dan???

Het big data landscape in 2012

Het big data landscape in 2012

Het open source data landscape in 2014

Deze elementen krijg je in de minor mee te maken

Opdracht (in groepen van 4) Kies een categorie uit het Big Data landscape 2016 en kies daarin een software pakket. Maak een presentatie waarin de volgende elementen zitten• Beschrijving van de categorie• Waar bevindt deze categorie zich in het big data proces• Beschrijving van de software (werking / functionaliteiten / doelgroep/ prijs)• Maak overzicht van alle onbekende vaktermen die je tegengekomen bent en

geef hier een definitie van

ANY QUESTIONS