Einbinden eines Workflow and Pipeline Orchestration Tools

[mschonlau]

Ggf. könnte es uns die Arbeit erleichtern, wenn wir eine flexible Open Source Komponente integrieren/anbinden, die speziell für den Zweck der Workflow-Orchestrierung entwickelt wurde und Dinge wie scheduling, infrastructure, error handling, retries, logs, triggers, data serialization, parameterization, dynamic mapping, caching, concurrency etc. übernehmen kann, wie z.B. prefect. Es gibt natürlich zahlreiche weitere Tools (https://neptune.ai/blog/best-workflow-and-pipeline-orchestration-tools). Diese können z.B. langfristig auch die Möglichkeit zur Öffnung für weitere Programmiersprachen insbesondere Python, R und Julia aus dem Data Science-Bereich und der Statistik ermöglichen.