IoT : sans Big Data, point de salut – 4 : Machine learning

Comme déjà évoqué dans nos précédents articles aux architectures Big Data pour l’IoT dédiés à Hadoop, NoSQL et Time Series et aux brokers de messages, place cette fois aux solutions de Machine Learning.

Le Machine Learning, pour valoriser les données

Utiliser l’IoT pour capter et stocker des données ne suffit pas : reste ensuite à les valoriser, en particulier par la création de nouvelles données et informations résultant de leur analyse.

À cette fin, les outils de Machine Learning sont aujourd’hui indispensables à l’analyse tant les volumes sont importants, ce qui rend leur gestion inaccessible aux humains. Dans tous les cas, la première question à se poser est l’usage : doit-on utiliser du Machine Learning « classique » par apprentissage statistique, ou bien du Deep Learning sur fond de réseaux de neurones ?

Quant aux langages utilisés, si de nombreuses initiatives ont vu le jour, les cas d’usages les plus avancés ont été réalisés en Python, qui se démarque clairement aujourd’hui. Pas moins d’une quinzaine de frameworks s’appuient sur ce langage. Parmi lesquels Caffe et Tensorflow pour les plus connus ou encore Azure ML Service et Apache Spark :

• Azure ML Service : le service machine learning d’Azure embarque 2 composants. ML Studio en premier lieu, dont l’interface graphique permet de tester rapidement différents modèles. Azure Databricks de son côté, basé sur Apache Spark (voir ci-dessous) est utilisé pour le « nettoyage » de données (data engineering) et le machine learning, dans des langages tels que Python et R.

• Apache Spark : Utilisable avec Python pour l’écriture des tâches, Apache Spark reste toutefois mieux adapté au langage Scala et intégré à Hadoop. On notera l’intégration de TensorFlow à Apache Spark

Pour aller plus loin, retrouvez les recommandations de Digora sur les autres couches d’infrastructure en matière de Big Data :

• Hadoop
• NoSQL et Time series
• Brokers de messages
• Acheminement et traitement des données