Data Mesh
Source : Oreilly Data mesh
le bouquin adresse la problématique de scalabilité (cf page 95 inflection point), encore faut-il avoir atteint ce point d'inflexion
N'est-ce pas la transposition de l'approche microservices à l'analytique ? On parle aussi de mesh d'ailleurs entre microservices
le document décrit qqch qu'il reconnait lui-même comme très novateur, tellement novateur que rien n'existe pour le moment pour implémenter tout cela
C'est criant p 160 et 171avec la Multiplane data platform qui est théoriquement belle mais qui n'a pas de réalité à l'heure actuelle (IBM prétend le contraire mais c'est IBM : IBM Cloud Pak for Data). Ou alors chez des acteurs très matures, ayant déjà une logique microservices poussées, habitués à de l'infra as code.
Il n'y a pas d'orchestrateur central (tout au moins au niveau des données car au niveau de l'orchestration des services techniques il en faudra)
les données sont bitemporelles forcément.
le data product est l'unité atomique, celle qu'on va pouvoir scaler.
Les slides Origami parlent encore (dans les avantages) de datalake et (dans les points d'attention) d'hétérogénéité technologique entre les domaines : au contraire le data mesh décrit dans le livre abandonne le datalake et parle plutôt d'une d'une plateforme relativement homogène entre domaines)
Surtout ils ne parlent pas de l'effort nécessaire pour réaliser les data products : car si on s'en réfère au livre, n'importe quelle appli n'est pas un data product : il ne suffit pas d'exposer des API aval.
wikipedia :
The main proposition is scaling analytical data by domain-oriented decentralization.4(https://en.wikipedia.org/wiki/Data_mesh#cite_note-4) With data mesh, the responsibility for analytical data is shifted from the central data team to the domain teams, supported by a data platform team that provides a domain-agnostic data platform
Data mesh is based on four core principles:16(https://en.wikipedia.org/wiki/Data_mesh#cite_note-16)
- Domain ownership
- Data as a product17(https://en.wikipedia.org/wiki/Data_mesh#cite_note-17)
- Self-serve data platform
-
- Federated computational governance
In addition to these principles, Dehghani writes that the data products created by each domain team should be discoverable, addressable, trustworthy, possess self-describing semantics and syntax, be interoperable, secure, and governed by global standards and access controls.18(https://en.wikipedia.org/wiki/Data_mesh#cite_note-18) In other words, the data should be treated as a product that is ready to use and reliable.[
- Federated computational governance
Un data mesh est une approche architecturale des données, dont un datalake peut faire partie. Cependant, un datalake central est plus généralement utilisé comme dépotoir pour les données, car il est fréquemment utilisé pour ingérer des données qui n'ont pas encore d'objectif défini. En conséquence, il peut devenir un marécage de données,
Une data fabric est un concept d'architecture qui se concentre sur l'automatisation de l'intégration des données, l'ingénierie des données et la gouvernance dans une chaîne de valeur des données entre les fournisseurs de données et les consommateurs de données. Une data fabric est basée sur la notion de « métadonnées actives » qui utilise le graphe de connaissances, la sémantique et la technologie IA/ML pour découvrir des modèles dans divers types de métadonnées (par exemple, les journaux système, les réseaux sociaux, etc.) et appliquer ces informations afin d'automatiser et d'orchestrer la chaîne de valeur des données (par exemple, permettre à un consommateur de données de trouver un produit de données, puis de lui fournir automatiquement ce produit de données). Une data fabric est complémentaire d'un data mesh et non mutuellement exclusive. En fait, la data fabric améliore le data mesh, car elle peut automatiser ses éléments clés, tels que la création de produits de données plus rapidement, l'application d'une gouvernance globale et la simplification de l'orchestration de la combinaison de plusieurs produits de données.