IoT : sans Big Data, point de salut – 5 : Acheminement et traitement des données

Par définition, l’IoT implique l’utilisation de plusieurs systèmes : l’objet connecté en lui-même d’une part, et tous les systèmes pouvant utiliser les données qu’il émet, pour les collecter, les stocker et les traiter.

Dès lors, la construction de solutions s’appuient sur des workflows de données, qu’il s’agit de construire. C’est tout l’objet des « workflows tools », parmi lesquels Node-RED et Apache Nifi.

• Node-RED : basé sur Node.js, Node-RED est une application de conception de chaînes de traitement en environnement Web, principalement destiné aux Proof Of Concept ou aux architectures de faible envergure. Au même titre qu’un ETL, Node-RED embarque une palette de connecteurs, des composants de traitement, et des modules pour lier entre eux des terminaux physiques, des API et des services en ligne.
  La force de Node-RED : la possibilité d’installer de nouveaux composants depuis la liste officielle des composants Node-RED, ou d’en développer soi-même pour répondre à ses besoins spécifiques. La création (en drag & drop) et le déploiement (en un clic) d’un « flow » s’opèrent entièrement depuis l’interface graphique.
• Apache Nifi : Avec son projet Nifi, soutenu par Hortonworks, la fondation Apache prouve, s’il en était besoin, son implication dans le développement des dispositifs IoT. Concrètement, Nifi permet d’injecter automatiquement des flux de données entre différents systèmes sources en direction d’autres systèmes cibles.
  Capable de prendre en charge l’intégralité des flux de données, très tolérant aux pannes et scalable pour la gestion de très grands volumes, Nifi dispose d’une interface web complète pour la définition et le contrôle en temps de l’acheminement des données.
   

Pour aller plus loin, retrouvez les recommandations de Digora sur les autres couches d’infrastructure en matière de Big Data :

• Hadoop
• NoSQL et Time series
• Brokers de messages
• Machine learning