Jule Witte / 07.06.2018

Streaming Data Ingestion in Big-Data- und IoT-Anwendungen

Bei vielen Big-Data- und IoT-Anwendungsfällen geht es darum, Daten von mehreren Quellen zusammenzubringen und einer Plattform verfügbar und so analysierbar zu machen. Die Quellen sind dabei heterogen, von einfachen Dateien über Datenbanken bis zu hochvolumigen Ereignisströmen von Sensoren (IoT-Geräten). Für diese Aufgabe der Data Ingestion haben sich spezialisierte Werkzeuge etabliert. Sie ähneln von außen betrachtet den Enterprise-Service-Bus-Infrastrukturen, die ein Unternehmen vielleicht bereits im Einsatz hat. Es gibt aber auch Unterschiede, die diese Produkte interessant machen. So können sie z. B. detailliert über den Nachrichtenfluss jeder einzelnen Nachricht Auskunft geben, selbst dann, wenn die Nachricht schon lange verarbeitet ist. Sie integrieren sich sehr gut in das Hadoop-Ökosystem und können auch mit modernen Formaten wie Avro umgehen. Daneben sind sie von Grund auf so entworfen, dass sie auf verschiedenen Plattformen betrieben werden können und damit auch lokal bei den Datenquellen, am so genannten Edge beim Internet of Things. In dieser Session werden die wichtigsten Produkte, wie Apache NiFi, StreamSets und das Kafka-Ökosystem, vorgestellt und miteinander verglichen.

27.09.2018

Zurück

Einen Kommentar schreiben