Entwickeln von ETL mit Opensource und Claude - Seminar für Windows Spezialisten

Die Ära der Windows-/OnPremise-Stacks geht dem Ende entgegen und an deren Stelle tretenCloudarchitekturen, Opensource-Produkte und KI-getriebene Entwicklung. Im Bereich der Entwickung von ETL-Prozessen sind prominente Vertreter Apache Airflow für die Workflow-Steuerung und Apache Spark fürhochperformante, skalierbare Transformationen. Beides wird zunehmend - wie viele andere Produkte auch - in einerUmgebung mit Docker/Kubernetes betrieben. Das Seminar zeigt in einem Praxis-orientierten Schnelleinstieg, wieTransformationen entwickelt werden und wie die Umgebung funktioniert, wie sie eingerichtet wird und wie KI (Claude) dabei hilft.

In dieser zweitägigen Schulung Entwickeln von ETL mit Opensource und Claude - Seminar für WindowsSpezialisten lernen Sie auf praktische Art, wie eine moderne ETL-Architekturen mit Apache Airflow und Apache Sparkin einer containerisierten Umgebung aufgebaut ist. Sie erhalten einen Einstieg in die Entwicklung und Orchestrierungvon ETL-Prozessen mit Python/PySpark.
Im Mittelpunkt stehen Apache Airflow zur Workflow-Steuerung und Apache Spark für hochperformante, skalierbareDatentransformationen. Als Infrastruktur kommt eine Umgebung mit Docker zum Zuge, in der Airflow, Spark (Multi-Node), PostgreSQL, Jupyter Notebook sowie ein Flask/nginx-Setup betrieben werden. Zusätzlich wird gezeigt, wieClaude als KI-Tool sowohl die Entwicklung von Transformationen, als auch den Aufbau der Systeme unterstützenkann.

Inhalt

Python

• Kurzübersicht: Ablaufsteuerung und Datentypen
• Arbeiten mit Tupels und Dictionaries
• Besonderheiten der Sprache: zip, map, Comprehension, Einsatz von Lambda Expressions etc.
• Überblick: pandas DataFrames

Docker

• Erstellen von Dockerfiles
• Verwenden von Docker Compose
• Einbinden von Shell-Scripten
• Arbeiten an der Container Shell
• Administration von Docker und Docker Compose
• Einrichten einer Umgebung mit Airflow, Spark,Jupyter Notebook,PostgreSQL und nginx
• Tools für Docker: PowerShell und Astronomer

Kubernetes

• Erstellen eines Kubernetes Clusters
• Integration der Klassenraum Container in einen Kubernetes Cluster
• Grundlegende administrative Tätigkeiten

Airflow und Spark

• Erstellen einfacher Airflow DAGs
• Erstellen einfacher Spark Jobs
• Erstellen von Airflow Dependencies
• Extraktion und Load: Verwenden von CSV-Dateien, REST-APIs und relationaler Datenbank
• Übergabe von Parametern und Daten
• Parallelisierung
• Data Wrangling (Filter, JOIN, Split, Lookup etc.)
• Übersicht: Advanced Features und Konzepte

Zielgruppe

Das Seminar richtet sich an die Zielgruppe der Windows-affinen DBAs, MS SQL-Entwickler, SSIS-Entwickler und ETL PowerUser. Es soll für diese Gruppe ein Schnelleinstieg bzw. eine Wissenserweiterung hinein in dieOpensource-Welt angeboten werden.