Technical Tutorials

Dans le paysage des données moderne, la demande d'une visibilité en temps réel sur les flux de données n'a jamais été aussi forte. Les méthodes traditionnelles de traitement par lots introduisent souvent une latence qui entrave la prise de décision en entreprise. Apache NiFi émerge comme une solution puissante, offrant un outil basé sur le web pour automatiser et gérer le flux de données entre les systèmes. Ce n'est pas seulement un outil ETL ; c'est une plateforme de gestion de flux de données qui offre des capacités de suivi, de transformation et de routage de bout en bout.

Pourquoi choisir Apache NiFi ?

La force principale de NiFi réside dans son interface visuelle basée sur les flux. Au lieu d'écrire des scripts complexes pour chaque tâche de déplacement de données, les développeurs conçoivent des flux à l'aide de processeurs. Chaque processeur représente une action spécifique, telle que la récupération de données depuis une source, leur transformation ou leur routage vers une destination. Cette approche offre plusieurs avantages clés :

Gestion de la contre-pression (Backpressure) : NiFi régule automatiquement la vitesse du flux de données en fonction de la capacité des processeurs en aval, empêchant les surcharges du système.
Provenance des données de bout en bout : Chaque élément de données (FlowFile) est suivi de son origine à sa destination finale, fournissant une piste d'audit essentielle pour la conformité et le débogage.
Bibliothèque riche de connecteurs : NiFi prend en charge des centaines de processeurs intégrés pour les bases de données, les services cloud, les files de messages et les systèmes de fichiers.

Composants clés d'un flux NiFi

Comprendre l'anatomie d'un flux NiFi est essentiel pour une conception efficace des pipelines.

1. Processeurs

Les processeurs sont les moteurs de NiFi. Ils effectuent des tâches spécifiques telles que la lecture de données (ListS3), la transformation de données (UpdateAttribute, JoltTransformJSON) ou l'écriture de données (PutHDFS). Les processeurs peuvent être configurés avec des propriétés pour définir le comportement, telles que les chaînes de connexion, la logique de transformation ou les critères de routage.

2. Connexions

Les connexions acheminent les FlowFiles entre les processeurs. Elles peuvent être configurées pour mettre les données en file d'attente en mémoire ou sur disque, et elles prennent en charge le filtrage basé sur les résultats de relation (par exemple, success, failure).

3. FlowFiles

Un FlowFile est une abstraction de données dans NiFi. Il se compose de :

Attributs : Paires clé-valeur de métadonnées (par exemple, nom du fichier, type de média, champs personnalisés).
Contenu : La charge utile de données réelle, qui peut être du texte, des données binaires ou des données structurées.

Exemple pratique : Ingestion et transformation de journaux JSON

Considérons un scénario courant : l'ingestion de journaux JSON depuis une API REST, leur analyse et le stockage des données nettoyées dans un lac de données.

Étape 1 : Récupérer les données

Utilisez le processeur GetHTTP pour interroger le point de terminaison de l'API. Configurez la propriété Request URL. Pour gérer la limitation de débit, définissez les Remote Flow File Properties ou utilisez la propriété Throttle.

Étape 2 : Analyser le JSON

Connectez la relation success au processeur SplitJSON. Si la réponse est un tableau d'entrées de journal, SplitJSON le décompose en FlowFiles individuels. Pour une extraction plus approfondie, utilisez EvaluateJsonPath pour extraire des champs spécifiques comme timestamp ou user_id.


Exemple de configuration EvaluateJsonPath :
Nom de la propriété : user_id
Expression JsonPath : $.userId

Étape 3 : Transformer et enrichir

Utilisez UpdateAttribute pour ajouter de nouveaux attributs, tels qu'un processing_time en utilisant le langage d'expressions NiFi (NEL) :


Attribut : processing_time
Valeur : ${now():format("yyyy-MM-dd HH:mm:ss")}

Étape 4 : Stocker les données

Connectez à PutHDFS ou PutS3. Utilisez des propriétés dynamiques pour créer une structure de répertoires basée sur les attributs, par exemple /${year}/${month}/, pour une organisation efficace des données.

Techniques avancées de gestion des flux

Gestion des erreurs et nouvelles tentatives

Les pipelines résiliants doivent gérer les échecs avec élégance. Configurez les propriétés retry.count et retry.period sur les processeurs. Connectez la relation failure à un processeur LogAttribute pour la surveillance, ou à un RouteOnAttribute pour envoyer les FlowFiles en échec vers une file de lettres mortes pour inspection manuelle.

Routage dynamique

Utilisez RouteOnAttribute pour diviser les flux de données en fonction de conditions dynamiques. Par exemple, routez les transactions de haute priorité vers une voie de traitement rapide et celles de basse priorité vers une voie par lots.


Critères de routage :
high_priority : ${priority} == "HIGH"
low_priority : ${priority} == "LOW"

Services de contrôle

Pour les ressources partagées entre les processeurs, telles que les pools de connexions de base de données ou les clients HTTP, utilisez les Services de contrôle. Cela assure une gestion efficace des ressources et une configuration centralisée.

Considérations relatives à l'échelle et aux performances

NiFi est conçu pour s'échelonner horizontalement. Dans un environnement en grappe, les flux sont répartis entre les nœuds. Les conseils clés de performance incluent :

Gestion des pools de threads : Ajustez les pools de threads pour différents groupes de processeurs afin d'isoler les tâches à forte charge.
Gestion de la mémoire : Surveillez l'utilisation de la pile (heap). Pour les grands jeux de données, utilisez des paramètres de file d'attente basés sur le disque pour éviter les erreurs OOM (Out of Memory).
Optimisation des processeurs : Activez Auto Terminate Relationships pour les tests, mais désactivez-le en production pour maintenir la continuité du flux. Utilisez Batch Size pour contrôler le nombre de FlowFiles traités par déclenchement, en équilibrant le débit et la latence.

Conclusion

Apache NiFi permet aux ingénieurs de données de construire des pipelines de données robustes, observables et flexibles. En exploitant son interface visuelle, sa riche bibliothèque de processeurs et ses puissantes fonctionnalités de gestion des flux, les équipes peuvent passer de l'ingestion de données à des informations exploitables avec rapidité et fiabilité. Que vous intégriez des données de streaming en temps réel ou que vous gériez des processus ETL par lots à grande échelle, NiFi fournit les fondations d'une architecture de données moderne. Commencez petit, concevez vos flux en tenant compte de la gestion des erreurs et échelonnez-les à mesure que vos besoins en données augmentent.