Ein Einblick in die faszinierende Welt des Stream Processing

In den ersten aufregenden Wochen bei Oepfelbaum wurde mir die Gelegenheit geboten, mich mit einem akuten Problem eines Kunden auseinanderzusetzen. Konkret ging es darum, einen überholten Importvorgang durch die Anwendung einer vergleichsweise neuen Technologie aufzuwerten – des Event Streaming.

Ausgangslage

Bisher wurden sämtliche Daten aus dem Core-Banking täglich über CSV-Dateien geliefert – eine pro Datentyp. Ein Prozess, der auf den Abhängigkeiten zwischen den verschiedenen Datentypen basierte, übernahm anschliessend die Verarbeitung.

Als Teil eines global agierenden Unternehmens werden diese Daten nicht nur in der Schweiz verarbeitet, sondern in mehreren Ländern. Daher müssen sie an verschiedenen Standorten zur Verfügung gestellt werden – entweder als Datenexport oder über ein regelmässiges Importverfahren.

Der verwendete Importvorgang war technisch veraltet und nicht mehr wartbar. Er basierte auf dem klassischen Batch-Ansatz: einmal täglich Daten ziehen, umwandeln, dann ablegen. Das führte zu langen Durchlaufzeiten und war fehleranfällig.

Ziel

Wir wollten den Importprozess modernisieren, stabilisieren und beschleunigen – insbesondere durch den Wechsel von einem Batch- zu einem Streaming-Ansatz.

Abbildung 1: Finaler Prozess der Eigenkreationen

Abbildung 2: Kombination zweier Streams

Abbildung 3: Definition des Schlüssels

Abbildung 4: Verarbeitung bei korrekter Reihenfolge

Kurz gesagt

Sobald eine Stream Processing-Lösung mit hohem Datendurchsatz und bereits niedriger Komplexität umgesetzt wird, sollte definitiv die Möglichkeit in Betracht gezogen werden, ein Framework wie Flink zu verwenden.