Design Überlegungen

• Anstatt selbstständig virtuelle Maschinen bereitzustellen, kann Azure HD Insight verwendet werden.

• Orchestriere den Batch Prozess mit Azure Data Factory, bei geringer Anzahl an Pipelines

• Verwenden von Azure Functions anstatt Azure Databricks für den Batch Prozess, falls die Ausführungszeit nur ein paar Sekunden sind

• Verwenden von Apache Flink(real time streaming) anstatt Spark Structured Streaming (micro batches), falls eine geringe Latenz notwendig ist. Wir reden hier aber von beispielsweise 10 ms vs 30 ms.