Développer des flux avec Apache Nifi

Information sur la formation

Référence interne de la formation : CP-NIFI

Le routage des données et le traitement par flux est au coeur de l'intégration d'applications d'entreprise (EAI). On le retrouve également dans les disciplines telles que le BigData, l'IoT et les architectures à base de services. Cette formation permet d'en comprendre les principes, à travers la réalisation d'applications concrètes.

A l'issue de cette formation, les participants seront en mesure de:

Comprendre le concept de programmation "flow-based"
Pouvoir installer et configurer Apache Nifi
Etre en mesure de réaliser des flux impliquant différents composants logiciels

Méthodes pédagogiques
Formation avec un minimum de 50% de travaux pratiques. La session alterne les présentations théoriques avec les exercices en groupe ou individuels. Des versions numériques de tous les documents sont remises aux participants (support de cours, énoncés, corrigés).

Clients visés :

Architecte, tech lead, développeur souhaitant utiliser Apache Nifi.
Pré requis
Notions en intégration d'applications et architecture logicielle de SI
Pratique du développement Java

Mots-clés en rapport avec la formation :

Programme
Apache Nifi et la programmation "flow-based"
Les concepts de programmation "flow-based" et les workflows
Le projet open-source Apache Nifi et ses concurrents (Apache Camel, Node-RED, ...)
L'éco-système Nifi et ses distributions (Hortonworks DataFlow, ...)
Les fonctionnalités essentielles
Les pré-requis d'installation et les modes de fonctionnement
Mise en pratique: installation du produit Apache Nifi et vérification de son fonctionnement.

Concepts de base Apache Nifi
Les cas d'usage d'Apache Nifi: EAI, BigData, IoT, ...
Les concepts de FlowFile, de Processor et de Connector
La prise en main de l'interface Web
La création d'un flux et son fonctionnement
Le monitoring
Mise en pratique: création et exécution d'un flux de manipulation de fichiers avec GetFile, PutFile, ...

Utilisation avancée
Le format des FlowFiles
Le langage EL et la gestion de conditions de routage
Les principaux processeurs et leurs paramètres
L'utilisation de scripts (Groovy, Python, ...)
La gestion d'erreurs
Controller Service, Processor Group et Reporting task
L'utilisation de templates
Mise en pratique: réalisation d'un flux conditionnel avec différents systèmes (brokers JMS ou MQTT, BD, ...).

Cluster et BigData
Le fonctionnement en cluster avec Zookeeper
L'intégration dans un environnement BigData (Hadoop HDFS, Spark)
Mise en pratique: configuration d'un cluster avec Zookeeper.

Extensions
Les principes de fonctionnement d'un Processor
Le paramétrage et l'accès aux données d'un flux
Le packaging d'un Processor dans un NAR
Mise en pratique: intégration d'une Processor tiers. réalisation d'un nouveau Processor.