Kafka Schulung: Kafka Connect

ETL, Datamining, Administration, praktische Einführung

Kafka ist eine mächtige Plattform, die sich immer größerer Beliebtheit erfreut. Herausstechende Eigenschaften der Plattform sind:

  • Verarbeitung großer Datenmengen in Echtzeit

  • Horizontale Skalierbarkeit bei gleichzeitigem Erhalt der Nachrichtenreihenfolge

  • Entkopplung von Sender und Empfänger durch die dauerhafte Speicherung der Nachrichten

  • Starke Garantien bezüglich Replizierung und Ausfallsicherheit

Um die Kerntechnologie Apache Kafka hat sich ein großes Ökosystem verschiedenster Anwendungen und Technologien entwickelt, die auf der Messaging-Middleware aufbauen und deren Stärken und Fähigkeiten nutzen.

Kafka Connect ermöglicht es Datenströme aus Apache Kafka in andere Systeme auszuspielen und/oder Daten aus diesen einzulesen und in Apache Kafka als Datenstrom bereitzustellen. Kafka Connect kann die Daten dabei zwischen verschiedenen Formaten konvertieren und falls nötig einfache Transformationen auf den Datensätzen durchführen. Da Kafka Connect auf die Eigenschaften von Apache Kafka zurückgreift, können mit der Technologie mit geringem Aufwand fehlertolerante und skalierbare Workflows für die Verarbeitung von großen Datenmengen in Echtzeit aufgebaut werden.

Trainer: 

Kai Moritz

Schulungsziel

In dieser Schulung lernen Sie anhand praktischer Beispiele die Funktionsweise und die Verwendung von Kafka Connect. Sie lernen:

  • wie Sie mit Kafka Connect Datenströme aus externen Quellen erzeuge

  • wie Sie mit Kafka Connect Datenströme in externe Senken ausspiele

  • wie Sie die einzulesenden bzw. auszuspielenden Daten zwischen den benötigten Formaten konvertieren

  • wie Sie Transformationen auf die verarbeiteten Datensätze anwenden, um diese für die weitere Verarbeitung aufzubereiten

  • was beim Betrieb einer auf Kafka Connect basierenden Anwendung zu beachten ist

Nach der Teilnahme an dieser Schulung sind Sie in der Lage mit Kafka Connect Extract-Transform-Load Prozesse aufzubauen, die die Daten in Echtzeit verarbeiten. Sie können Daten aus anderen Systemen mit Hilfe von Kafka Connect in Apache Kafka als Datenstrom verfügbar machen und Datenströme aus Apache Kafka in ander System ausspielen. Sie sind in der Lage, eine auf Kafka Connect basierende Anwendung zu erstellen und zu betreiben.

Zielgruppe

  • Software-Architekten, die ein eine auf Batches basierende Architektur auf Data-Streaming umstellen wollen

  • Dev-Ops & Administratoren, die Legacy Systeme über Datenströme in eine Data-Streaming Architektur integrieren wollen

  • Data Analysten, die Daten einer Data-Streaming Architektur für die Offline-Analyse in ein Datenbanksystem überspielen wollen (ETL)

  • Software-Entwickler, die einen Überblick über die technischen möglichkeiten für die Anbindung von Legacy-Systemen in einer auf Data-Streaming basierenden Anwendung erhalten möchten

Vorkenntnisse

Kafka Schulung: Schema Management (oder vergleichbares Vorwissen), Kafka Schulung: Hands-On (hilfreich), Vorkenntnisse Linux/Shell (hilfreich), Docker/Docker-Compose (hilfreich)

Dauer

1 Tage

Ort

Inhouse / Online / offene Schulung

Sprache

Deutsch, Englisch auf Anfrage

Anzahl Teilnehmer

Empfohlen: Inhouse bis zu 8 TN / Online bis zu 6 TN

Themen

  • Grundlagen / Architektur

    • Connector

    • Converter

    • Tasks

    • Workers

    • Standalone vs. Distributed Worker

    • Zusammenspiel mit Apache Kafka

    • Kafka Connect vs. Producer-/Consumer-API vs. Kafka Streams

  • Verwendung

    • Standalone vs. Distributed Worker

    • Die Connect REST-API

    • Einbindung von Connectoren

    • Datenkonvertierung in Kafka Connect

    • Single Message Transforms

    • Fehlerbehandlung & Monitoring

  • Praxis-Beispiele

    • Eine einfache Realtime ETL-Pipeline mit Kafka Connect

    • Change-Data-Capture mit Kafka Connect

Anfrage senden

Nichts für Sie dabei?

Bitte sprechen Sie uns an, wenn Sie Interesse an einem Thema
haben, das wir nicht explizit aufgeführt haben. Wir arbeiten
sowohl mit unabhängigen Experten und namhaften Partnern
zusammen und erstellen gerne ein individuelles Angebot für Sie.

up
contact