Après le Cloud et le Streaming de données, la grande nouveauté est certainement l’arrivée du concept de Data Mesh (nous trouvons ce mot trop élégant en anglais pour se risquer à le traduire).
La littérature est déjà importante sur le sujet. Zhamak Dehghani, à l’origine du concept, a rédigé de nombreux articles, et prépare un livre :
- https://blog.ysance.com/comment-passer-dun-datalake-monolithique-a-un-data-mesh-distribue (notre traduction française)
- https://martinfowler.com/articles/data-mesh-principles.html
- https://www.linkedin.com/pulse/decentralizing-data-from-monolith-mesh-zhamak-barry-o-reilly/ (Podcast)
Et déjà animé de nombreux webinaires sur le sujet.
On vous l’accorde, il n’est pas évident de comprendre du premier coup la portée de cette nouvelle approche. Aussi nous vous proposons une définition sous la forme d’une comparaison, qui vous parlera certainement beaucoup plus :
Le Data Mesh est au Data Lake
ce que les architectures distribuées sont aux applications.
Saviez-vous qu’avant l’arrivée de Werner Vogels chez Amazon, le programme qui servait de code au site www.amazon.com était un seul et même exécutable, sur lequel travaillaient… 500 développeurs différents. Oui, vous avez bien lu, 500. On vous laisse imaginer les différents enjeux d’organisation, de merge du code, de compilation, de déboggage et j’en passe.
Le passage aux architectures distribuées a très clairement permis à Amazon de passer à l’échelle techniquement mais aussi fonctionnellement parlant. Comment ? En responsabilisant notamment chaque équipe sur les composants logiciels dont elle avait la charge.
Une des finalités du Data Mesh, est d’organiser les données sous forme de domaines, indépendants et gérés par des équipes qui disposent d’une grande autonomie dans l’exécution de leur roadmap, tout en étant encadrées par des règles d’architecture communes. On « casse » ainsi l’aspect monolithique d’un Datalake, en redonnant de l’autonomie à chaque domaine, qui peuvent ainsi s’alimenter les uns les autres en termes de données.
Vous trouverez ici des ressources précieuses qui vous permettront de découvrir plus avant cette nouvelle topologie des données qu’est le Data Mesh.
Introduction to Data Mesh (34:51)
Data Mesh in Practice: How Zalando Goes Beyond the Data Lake (30:28)
Le nouveau paradigme Data Mesh dans les architecture de plateformes de données (48:07)
Et bien entendu, Data Mesh : Le Livre
A paraitre en 2021 aux éditions O’Reilly
