Strukturiertes Daten-Streaming und -Verarbeitung
Dauer
6 Monate
Teamgröße
1
Abschluss
2026
Schnelles XML-Verarbeitungswerkzeug in Go mit Daten-Streaming
Herausforderung
Die größte Herausforderung bestand darin, große Mengen an XML-Dateien mit minimaler Latenz zu verarbeiten, eingehende Daten kontinuierlich zu speichern und zu indizieren sowie eine schnelle Suche und Datensatzabgleich nahezu in Echtzeit zu ermöglichen.
Unsere Lösung
Die Lösung wurde als hochperformante Datenverarbeitungs-Pipeline in Go entwickelt, die große XML-Feeds per Streaming anstatt über batch-intensive Workflows verarbeitet. Durch den Einsatz von Nebenläufigkeit verarbeitet das System mehrere Eingaben effizient, transformiert strukturierte Datensätze und persistiert diese mit zuverlässiger Indizierung für schnellen Abruf in PostgreSQL. Diese Architektur ermöglichte nahezu Echtzeit-Datenverfügbarkeit, skalierbare Suche und präzises Datensatz-Matching – bei gleichzeitig geringem Ressourcenbedarf, einfacher Wartbarkeit und kosteneffizienten Betrieb.