Kappa Architecture
Im Gegensatz zur Lambda-Architektur, die auf separaten Pfaden für Batch- und Echtzeitdatenverarbeitung basiert, verwendet die Kappa-Architektur nur einen Pfad für die Echtzeitdatenverarbeitung. (https://learn.microsoft.com/de-de/azure/architecture/data-guide/big-data/)
In Bild 2 sehen sie den linken Teil meiner Pipeline, die der Kappa Architecture ähnelt.
Wie Sie in Bild 3 sehen, benutzt Uber immer noch eine Batch Pipeline (ETL) fürs Reporting und für Data Science Anwendungen. Dadurch hat Uber immer noch im Herzen ein Inmon Model.
Wie Sie in Bild 4 sehen können, wird auch wie im Beispiel von Uber, separate Data Marts fürs Reporting und Data Science bereitgestellt.
Vorteile:
Vereinfachte Architektur: Da es nur einen Datenstrom gibt, wird die Komplexität der Architektur reduziert. Es gibt keine Notwendigkeit, sich um Batch- und Echtzeit-Verarbeitung separat zu kümmern, was Zeit und Ressourcen spart. (https://www.kai-waehner.de/blog/2021/09/23/real-time-kappa-architecture-mainstream-replacing-batch-lambda/)
Höhere Datenqualität: Da die Verarbeitung in Echtzeit stattfindet, können Daten schneller auf Fehler oder Ungenauigkeiten überprüft und bereinigt werden. Dies führt zu höherer Datenqualität und besseren Ergebnissen.(https://www.kai-waehner.de/blog/2021/09/23/real-time-kappa-architecture-mainstream-replacing-batch-lambda/)
Flexibilität: Events können sowohl in Echtzeit verarbeitet werden, als auch in Batches. Somit setzt man schon mal das Fundament für eine moderne Kappa Architecture, spart sich aber die Kosten, die durch das Stream Processing entstehen.
Last updated
