IoT : sans Big Data, point de salut : Cluster Hadoop

Cet article fait partie d'une série de 5 articles sur la relation étroite entre IoT et les infrastructures Big Data. Cette première partie se consacre aux clusters Hadoop.

Comme la téléphonie mobile en son temps, l’IoT tisse peu à peu sa toile dans le quotidien, à la fois des entreprises et des consommateurs.

Mais là où le déploiement réseau « suffisait », c’est aujourd’hui la question de la production, du stockage et du traitement de volumes colossaux de données constamment produites par les objets connectés qui est soulevée.

Car la valeur de l’IoT repose essentiellement sur les données générées par chaque objet connecté. Des données qui sont sources d’informations précieuses, jusqu’à devenir déterminantes dans le cadre de ses activités. Et ces objets connectés sont en pleine expansion : selon IDC et Gartner, ils seront au nombre de 30 milliards en 2020, pour un marché estimé à 1 700 milliards de dollars.

Derrière le réseau d’objets connectés, c’est donc toute une infrastructure de data management, et plus précisément de Big Data, à mettre en place.

Quelles technologies utiliser ? Pour quels résultats attendus ? Couche par couche, les recommandations de Digora, en 5 parties, en matière de Big Data au service de l’IoT.

IoT : sans Big Data, point de salut – 1 : cluster Hadoop

Dans cette première partie, parlons des systèmes de stockage pour le Big Data : le cluster Hadoop, associé au système de stockage Blob Azure pour les données froides.

Ce n’est qu’en la combinant à d’autres données que l’on peut maximiser la valeur d’une donnée. C’est justement tout l’objectif d’un cluster Hadoop, qui permet le stockage et l’exploitation de données diverses en grande quantité. Ses multiples outils disponibles (stockage, analyse et traitement : calcul distribué, haute disponibilité) offrent aux entreprises la possibilité de renforcer la valeur de leurs données.

Pour aller plus loin, il est possible de l’associer à du stockage blob (binary large object) tel que le propose Microsoft avec son offre de stockage Blob Azure, conçu pour stocker dans le cloud de très grandes quantités de données non structurées. Dans ce genre d’architectures, Hadoop est essentiellement réservé à la redondance et au calcul distribué (HDFS : Hadoop Distributed File System), tandis que Blob Azure assure l’archivage des données froides.

D’origine Open Source (Apache Software Foundation), il existe de nombreuses distributions Hadoop. Parmi elles, Cloudera a développé, avec Red Hat et Eurotech, une architecture IoT ouverte, complète et modulaire, pour simplifier et accélérer les déploiements IoT. Sécurisée et scalable, cette plateforme, qui embarque les technologies les plus récentes, bénéficie de toute l’expertise d’un éditeur spécialiste du Cloud, tout en restant ouverte pour ne pas risquer de « s’enfermer » dans une technologie propriétaire.

Pour aller plus loin, retrouvez les recommandations de Digora sur les autres couches d’infrastructure en matière d'IoT & Big Data :

• NoSQL & Time Series
• MOM (brokers de messages)
• Machine learning
• Acheminement et traitement des données