Flowman – ETL Prozesse unter Spark

IT-Projekte / Consulting / Beratung / Support

Flowman – Überblick

Flowman ist ein Open Source Projekt, das Ihr Unternehmen bei der Entwicklung von ETL Jobs auf Basis von Apache Spark unterstützt. Kerngedanke von Flowman ist, den Datenfluss rein deklarativ anzugeben, und diesen dann von einer flexiblen Spark-Applikation (eben Flowman) ausführen zu lassen.

Mit diesem Ansatz trennen Sie sauber die Business Logik von all den technischen Details, die für einen produktiven Betrieb notwendig sind. Sie können sich somit auf die Business-Logik konzentrieren, während Flowman sich als ausgereifte Spark-Applikation um die technischen Details kümmert um eine stabile Ausführung sicherzustellen. Dazu gehören der Export von relevanten Metriken für Monitoring, ein einheitliches Logging, die Unterstützung von sauberen Reruns und vieles mehr.

Die Datenflüsse selbst sind in YAML Dateien abgespeichert, und können im Unterschied zu klassischem Scala/Java-Code auch von einem Business-Experten mit nur kurzer Einarbeitung nachvollzogen werden. Auf diese Weise können Sie das vorhandene Expertenwissen stärker in die Entwicklung mit einbeziehen um somit frühzeitig fachliche Fehler zu entdecken.

Wenn Sie im Bereich Spark ein ETL-Projekt planen oder sich gerne beraten lassen wollen, fragen Sie bei uns an und ein kompetenter Vertriebsmitarbeiter wird sich mit Ihnen in Verbindung setzten und nähere Details abklären.


Flowman – Produkteigenschaften

  • Komplett Open Source (Apache Lizenz)
  • Basiert auf Apache Spark
  • Flexible Spezifikation von Datenflüssen
  • Automatische Schemaverwaltung (Erzeugung und Migration von Tabellen)
  • Vielseitiges Kommandozeilenwerkzeug zur Ausführung
  • Integrierte Metriken für Monitoring
  • Unterstützt Hadoop und Kubernetes
  • Unterstützt AWS und Azure (S3 und ABS)

Flowman – Vorteile

Open Source. Es fallen keine Lizenzkosten an, gleichzeitig profitieren Sie von der Weiterentwicklung. Die liberale Apache Lizenz erlaubt Ihnen interne Veränderungen, ohne die Pflicht, diese zu veröffentlichen.

Erweiterbarkeit. Durch eine Plugin-Schnittstelle können Sie fehlende Funktionalität selbst entwickeln, ohne diese offen legen zu müssen.

Entlastung der Entwickler. Durch die Fokussierung auf die Business-Logik können sich Ihre Entwickler auf das Wesentliche konzentrieren, während Flowman die technischen Details implementiert.

Einheitliche Lösung. Anstelle einer losen Sammlung verschiedener Spark-Applikationen greifen Sie auf eine einheitliche Lösung zurück, die alle wesentlichen Aspekte abdeckt. Es kommt zu keinen Parallel-Entwicklungen mehrerer Lösungen für ähnliche Probleme.


unverbindlich anfragen, Angebot einholen: