HBase - zonder notities

18
HBase Gebracht door: Jonas Cristens, Arno Cuyckens, Wibren Van Assche en Vincent Van Dyck

Transcript of HBase - zonder notities

Page 1: HBase - zonder notities

HBaseGebracht door: Jonas Cristens, Arno Cuyckens, Wibren Van Assche en Vincent Van Dyck

Page 2: HBase - zonder notities

Wat is HBase?

Page 3: HBase - zonder notities

Voor je begint met HBase

▪ Voldoende gegevens

▪ Geen functionaliteiten als in RDBMS

▪ Veel hardware

Page 4: HBase - zonder notities

Architectuur

Page 5: HBase - zonder notities

Kenmerken van HBase

▪ Opensource

▪ CP

▪ Draait bovenop HDFS

▪ Column-oriented

▪ Grote hoeveelheden data

▪ Automatische sharding

▪ Crash recovery

Page 6: HBase - zonder notities

Kenmerken van HBase

▪ Geschikt voor analytics

▪ Veel geheugen vereist

▪ “Single point of failure“

Page 7: HBase - zonder notities

CAP Theorem

▪ Geen availability

▪ Zeer consistent systeem

▪ Network partitioning

Page 8: HBase - zonder notities

HDFS

▪ HBase draait bovenop HDFS

▪ Data replicatie

Page 9: HBase - zonder notities

Column-oriented

▪ ↔ row-oriented

▪ Minder rekenkracht nodig

▪ Geschikt voor aggregaties

▪ Compressie

▪ Column families

Page 10: HBase - zonder notities

Grote hoeveelheden data

▪ Snelle verwerking

▪ Makkelijk uitbreidbaar

▪ RegionServers

Page 11: HBase - zonder notities

Hoe werken RegionServers?

▪ WAL

▪ Memstore

▪ HFile

▪ Minor compaction

▪ Major compaction

Page 12: HBase - zonder notities

Automatische sharding

▪ Verdeling van regions in child regions

▪ Automatische load balancing

Page 13: HBase - zonder notities

Crash recovery

▪ RegionServer crash

▪ ZooKeeper

▪ HMaster

▪ WAL

▪ Region balancing

▪ Complex en traag

Page 14: HBase - zonder notities

Geschikt voor analytics

▪ Locatie in cache▪ Snelle random read access

▪ Makkelijke aggregatie

▪ Combineren met MapReduce

Page 15: HBase - zonder notities

Veel geheugen vereist

▪ Memstores▪ Eerste opslag

▪ Flush

Page 16: HBase - zonder notities

“Single point of failure”

▪ NameNode in HDFS▪ Oplosbaar

▪ Checkpoint

▪ HMaster ▪ Oplosbaar

Page 17: HBase - zonder notities

Wanneer moet je HBase niet gebruiken?

▪ Ter vervanging van een RDBMS▪ Verwacht geen joins

▪ Geen geavanceerde queries

▪ Weinig data

▪ Weinig hardware

Page 18: HBase - zonder notities

Wanneer wel HBase?

▪ Grote datasets▪ Miljoenen kolommen en miljarden rijen

▪ Snelle analyses

▪ Wanneer consistentie belangrijk is

▪ Voorbeeld:▪ Facebook Messenger