Architecture Kafka Connect expliquée : Source Connectors, Sink Connectors & CDC
Les architectures modernes d’entreprise stockent rarement toutes leurs donnĂ©es dans une seule application. Les informations clients peuvent se trouver dans PostgreSQL, les commandes dans MySQL, les Ă©vĂ©nements dans Apache Kafka, les donnĂ©es analytiques dans un Data Warehouse et les donnĂ©es de recherche dans Elasticsearch. DĂ©placer ces donnĂ©es de manière fiable entre tous ces systèmes peut rapidement devenir complexe. C’est prĂ©cisĂ©ment le problème que Apache Kafka Connect permet de rĂ©soudre. Kafka Connect fournit un framework standardisĂ© permettant de transfĂ©rer les donnĂ©es vers et depuis Apache Kafka , sans obliger chaque Ă©quipe de dĂ©veloppement Ă crĂ©er et maintenir ses propres producteurs et consommateurs Kafka pour les scĂ©narios d’intĂ©gration courants. Dans ce guide, nous allons dĂ©couvrir : l’architecture Kafka Connect ; les Source Connectors ; les Sink Connectors ; les Connect Workers ; les Connectors et Tasks ; les Converters ; les Single Message Transforms...