HBaseGebracht door: Jonas Cristens, Arno Cuyckens, Wibren Van Assche en Vincent Van Dyck

Wat is HBase?

Voor je begint met HBase

▪ Voldoende gegevens

▪ Geen functionaliteiten als in RDBMS

▪ Veel hardware

Architectuur

Kenmerken van HBase

▪ Opensource

▪ CP

▪ Draait bovenop HDFS

▪ Column-oriented

▪ Grote hoeveelheden data

▪ Automatische sharding

▪ Crash recovery

Kenmerken van HBase

▪ Geschikt voor analytics

▪ Veel geheugen vereist

▪ “Single point of failure“

CAP Theorem

▪ Geen availability

▪ Zeer consistent systeem

▪ Network partitioning

HDFS

▪ HBase draait bovenop HDFS

▪ Data replicatie

Column-oriented

▪ ↔ row-oriented

▪ Minder rekenkracht nodig

▪ Geschikt voor aggregaties

▪ Compressie

▪ Column families

Grote hoeveelheden data

▪ Snelle verwerking

▪ Makkelijk uitbreidbaar

▪ RegionServers

Hoe werken RegionServers?

▪ WAL

▪ Memstore

▪ HFile

▪ Minor compaction

▪ Major compaction

Automatische sharding

▪ Verdeling van regions in child regions

▪ Automatische load balancing

Crash recovery

▪ RegionServer crash

▪ ZooKeeper

▪ HMaster

▪ WAL

▪ Region balancing

▪ Complex en traag

Geschikt voor analytics

▪ Locatie in cache▪ Snelle random read access

▪ Makkelijke aggregatie

▪ Combineren met MapReduce

Veel geheugen vereist

▪ Memstores▪ Eerste opslag

▪ Flush

“Single point of failure”

▪ NameNode in HDFS▪ Oplosbaar

▪ Checkpoint

▪ HMaster ▪ Oplosbaar

Wanneer moet je HBase niet gebruiken?

▪ Ter vervanging van een RDBMS▪ Verwacht geen joins

▪ Geen geavanceerde queries

▪ Weinig data

▪ Weinig hardware

Wanneer wel HBase?

▪ Grote datasets▪ Miljoenen kolommen en miljarden rijen

▪ Snelle analyses

▪ Wanneer consistentie belangrijk is

▪ Voorbeeld:▪ Facebook Messenger