Intégrer Apache Kafka avec jBPM

 💡 Introduction

Dans les systèmes d’entreprise modernes, une architecture orientée événements est essentielle pour créer des workflows réactifs, évolutifs et faiblement couplés.
⚙️ jBPM et 📡 Apache Kafka permettent ensemble une communication fluide entre les processus métiers et les systèmes externes en temps réel.

Kafka agit comme 🧩 courtier de messages, tandis que jBPM exécute la 🧠 logique des processus métiers basée sur les événements produits ou consommés.

---

🔍 Pourquoi intégrer jBPM avec Kafka

Fonctionnalité	⚙️ jBPM	📡 Kafka
Moteur de workflow	✅	❌
Diffusion d’événements	❌	✅
Persistance & audit	✅	Optionnelle
Communication en temps réel	Possible via JMS/REST	Native
Scalabilité / Découplage	Modérée	Excellente

✅ Ensemble, ils permettent :

• 🔄 Le déclenchement de processus en temps réel

• 📬 Des notifications d’événements entre systèmes

• 🧱 Une architecture producteur-consommateur découplée

• 🚀 Une automatisation hautement évolutive

---

🏗️ Aperçu de l’architecture

Application Productrice → Topic Kafka → Consommateur jBPM → Exécution du Processus
                    ↘                   ↗
                 Producteur jBPM → Topic Kafka → Autres Microservices

🏭 Producteur : envoie les événements de processus (ex. : “Commande terminée”)
🎧 Consommateur : écoute les messages et démarre de nouvelles instances de processus

---

⚙️ Étapes d’implémentation

1️⃣ Configurer Kafka

docker run -d --name zookeeper -p 2181:2181 zookeeper
docker run -d --name kafka -p 9092:9092 \
  -e KAFKA_ZOOKEEPER_CONNECT=host.docker.internal:2181 \
  -e KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://localhost:9092 \
  wurstmeister/kafka
kafka-topics.sh --create --topic jbpm-events --bootstrap-server localhost:9092

---

2️⃣ Ajouter la dépendance Kafka

<dependency>
  <groupId>org.apache.kafka</groupId>
  <artifactId>kafka-clients</artifactId>
  <version>3.7.0</version>
</dependency>

---

3️⃣ Classe Producteur Kafka 💬

import org.apache.kafka.clients.producer.*;
import java.util.Properties;

public class KafkaEventProducer {

    private final KafkaProducer<String, String> producer;
    private final String topic = "jbpm-events";

    public KafkaEventProducer() {
        Properties props = new Properties();
        props.put("bootstrap.servers", "localhost:9092");
        props.put("key.serializer", "org.apache.kafka.common.serialization.StringSerializer");
        props.put("value.serializer", "org.apache.kafka.common.serialization.StringSerializer");
        producer = new KafkaProducer<>(props);
    }

    public void sendEvent(String key, String message) {
        producer.send(new ProducerRecord<>(topic, key, message));
        System.out.println("Envoyé à Kafka : " + message);
    }
}

➡️ Tu peux appeler cette classe dans une tâche de service ou un Task Event Listener dans jBPM.

---

4️⃣ Classe Consommateur Kafka 🎧

import org.apache.kafka.clients.consumer.*;
import org.kie.api.runtime.KieSession;
import java.time.Duration;
import java.util.Collections;
import java.util.Properties;

public class KafkaEventConsumer {

    private final KieSession ksession;

    public KafkaEventConsumer(KieSession ksession) {
        this.ksession = ksession;
    }

    public void startConsumer() {
        Properties props = new Properties();
        props.put("bootstrap.servers", "localhost:9092");
        props.put("group.id", "jbpm-group");
        props.put("key.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");
        props.put("value.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");

        KafkaConsumer<String, String> consumer = new KafkaConsumer<>(props);
        consumer.subscribe(Collections.singletonList("jbpm-events"));

        new Thread(() -> {
            while (true) {
                ConsumerRecords<String, String> records = consumer.poll(Duration.ofSeconds(1));
                for (ConsumerRecord<String, String> record : records) {
                    System.out.println("Message reçu : " + record.value());
                    // Exemple : démarrer un processus avec le message
                    ksession.startProcess("com.sample.MyProcess",
                        Collections.singletonMap("inputMessage", record.value()));
                }
            }
        }).start();
    }
}

---

5️⃣ Utiliser Kafka dans un flux BPMN

• Ajouter une tâche de service appelée “Envoyer vers Kafka”.
• Lier sa classe Java à KafkaEventProducer.
• Passer les variables de processus (comme orderId, status) en paramètres.

💡 Vous pouvez aussi attacher un événement de signal dans votre BPMN qui démarre un processus à chaque message Kafka reçu (via le thread consommateur).

---

🧪 Exemple de bout en bout

🛒 Lorsqu’une commande est passée :

• Un microservice producteur la publie dans Kafka

• jBPM consomme le message → démarre le workflow “Validation de commande” → renvoie le résultat

✅ Résultat : une automatisation orientée événements entre microservices et moteur BPM.

---

📈 Surveillance et montée en charge

• Utiliser les groupes de consommateurs Kafka pour la scalabilité horizontale des consommateurs jBPM.
• Utiliser OpenTelemetry ou Prometheus pour surveiller les performances de Kafka et jBPM.
• Configurer les offsets avec soin pour éviter les démarrages de processus en double.

---

🔐 Sécurité et fiabilité

🔒 Utiliser SSL/SASL pour sécuriser les connexions Kafka.
⚖️ Activer les producteurs transactionnels pour une sémantique exactly-once.
💾 Sauvegarder les offsets ou les IDs de corrélation dans une base de données pour assurer la reprise après incident.

---

👉 Regardez l’intégration de Apache Kafka avec jBPM en action :
Une courte vidéo pour comprendre comment cette intégration fonctionne : (bientôt disponible) 🎥

---

🏁 Conclusion

En intégrant Apache Kafka avec jBPM, vous transformez des workflows statiques en processus dynamiques, réactifs et pilotés par les événements.

Cette combinaison favorise la prise de décision en temps réel, une automatisation évolutive et une orchestration fluide des microservices — parfaitement adaptée aux architectures cloud modernes.

💼 Support professionnel disponible

Si vous rencontrez des problèmes sur des projets réels liés au développement backend d’entreprise ou à l’automatisation des workflows, je propose des services de conseil payants, de débogage en production, de support projet et de formations ciblées.

Les technologies couvertes incluent Java, Spring Boot, PL/SQL, Azure, ainsi que l’automatisation des workflows (jBPM, Camunda BPM, RHPAM).

📧 Contact: ishikhanirankari@gmail.com | info@realtechnologiesindia.com

🌐 Website: IT Trainings | Digital lectern | Digital rostrum | Digital metal podium