Data Virtualization Engine de Simplivity

L'architecture de données centrée sur la mobilité

La première étape a été de concevoir une technologie au cœur de la solution, capable de traiter en temps réel la déduplication et la compression des données primaires, le tout sans impact sur les performances et la latence (voir le paragraphe « OmniCube Accelerator™ »).

La seconde étape a consisté à construire toute une architecture de données, composée de systèmes fédérés de manière globale, pour gérer les données granulaires obtenues à la première étape.

De cette manière, tous les éléments sont réunis pour obtenir une déduplication, une compression et une optimisation réellement efficaces des données primaires dans une infrastructure de production:

• En temps réel
• Une fois et pour toujours (pas besoin de second passage, ou de recomposition et décomposition des données)
• Sur tous les supports de données d'un système
• Pour tous les ensembles de données
• Dans tous les emplacements, y compris dans le Cloud Public
• Sans impacter les performances

Grâce à « DVE » (Data Virtualization Engine), OmniCube exploite le potentiel d'une vraie implémentation de la déduplication, de la compression et de l'optimisation des données primaires. « DVE » optimise non seulement la capacité disque, mais aussi les IOPs, la capacité flash, la capacité DRAM et la capacité WAN (voir le billet « L’architecture OmniStack de Simplivity »).

Au final l'ensemble optimise bien plus que la volumétrie car « DVE » améliore en fait les performances globales du système. Avec « DVE », c’est avant d’écrire la donnée sur le disque qu’ont lieu les traitements de déduplication, de compression et d'optimisation, réduisant ainsi les opérations IOPs sur les disques.

L'effet « Boot Storm » en environnement V.D.I en est un parfait exemple. Dans une plateforme de stockage traditionnelle, 100 VMs Windows qui démarrent en même temps génèrent environ 10.000 MB de lectures aléatoire sur les disques.

Grâce à la technologie « DVE » d'OmniCube, le nombre d’opérations disques sera réduit d’un facteur 100 car les données de Boot lues par le système Windows pour les 100 VMs sont les mêmes.

Déduplication, compression et optimisation en temps réel sans impact sur les performances

Comme nous l’avons vu juste avant, la technologie « DVE » réalise la déduplication, la compression et l’optimisation en temps réel, avant la première écriture de la donnée dans la Datastore. C’est en fait l’inverse de l’approche plus classique et prédominante d’aujourd’hui qu’on appelle « déduplication post-process » qui consiste à écrire dans un premier temps la donnée brute sur le disque et de réaliser le traitement de déduplication dans un second temps, dans une étape dite « postérieure ».

Le gros inconvénient d’une déduplication « post-process », c’est qu’elle introduit un décalage par rapport à la déduplication « Inline ». Pour répliquer la donnée, on a deux choix :

• Soit de répliquer avant qu’elle ne soit dé-dupliquée
• Soit d’attendre que le processus de déduplication se termine pour répliquer

Mais ce n’est pas vraiment satisfaisant dans les deux cas. Répliquer avant de dé-dupliquer annule complètement l’intérêt de la déduplication et attendre pour répliquer peut créer des problèmes pour les « RPO » (Recovery Point Objective). Le temps pris pour dé-dupliquer peut être si élevé que les « RPO » ne sont finalement plus atteints.

Mais dé-dupliquer à la source en temps réel n’est pas chose simple quand on souhaite améliorer les performances, car la déduplication est un processus qui consomme beaucoup de ressources.

Lorsque la donnée entre dans le système, elle doit être scannée, analysée, comparée à un index ou à une table qui catalogue tous les blocs existants de l’ensemble de données. On agit ensuite sur la donnée, soit en la supprimant si elle est redondante où soit en l’écrivant si elle est nouvelle. Les pointeurs et les index ont besoin d’être mis-à-jour en temps réel, de manière à ce que le système puisse suivre tous les éléments de données dans leurs emplacements. Il faut aussi en parallèle maintenir une vision claire de l’ensemble complet de données qui ont été stockés dans le système (pré-déduplication).

Quand en plus, on souhaite maximiser l’efficacité avec une architecture qui traite la donnée par blocs de 4 KB ou 8 KB (taille originale avec laquelle la donnée est écrite par l’application), le système devra exécuter 100.000 opérations par seconde pour gérer les blocs de 4 KB pour un débit de 400 MB/s.

Face à ce challenge, on comprend pourquoi de nombreux fabricants ont opté pour une exécution de ces opérations hors ligne, en différé, afin de ne pas impacter les performances. C’est un challenge que Simplivity a attaqué de front et a remporté.

OmniCube Accelerator™

OmniCube Accelerator est le module de déduplication temps réel. C’est un module PCIe mis au point par Simplivity, qui traite l’ensemble des écritures et qui gère les tâches intensives de déduplication et de compression. Toutes les données écrites dans la Datastore passent déjà au travers d’OmniCube Accelerator.

En pratique, les apports de « DVE » pour la déduplication temps réel, c’est de pouvoir traiter des blocs de données dont la taille varie entre 4 KB et 8 KB alors qu’ils seront de 10 à 20 MB pour des architectures traditionnelles, offrant ainsi un gain supérieur de facteur 2000.

La donnée est ainsi optimisée à la source et « formatée pour la mobilité ». Elle le restera tout au long de son cycle de vie, à l’intérieur de la Fédération Globale OmniCube, réduisant considérablement le coût du stockage (DRAM, Flash, SSD, and HDD).

Cette valeur additionnelle révolutionnaire, pour la réduction des coûts et l’efficacité du système liées à la déduplication repose sur la Fédération Globale. La solution fournit la haute disponibilité (HA), le partage de ressources, une évolutivité simplifiée et la réplication pour le mouvement des VM ou la reprise d’activité (Disaster Recovery).

En plus de la déduplication, l’architecture « DVE » a été conçue et optimisée pour gérer un ensemble très important de blocs de données finement granulaires à travers une Fédération de systèmes à la fois locaux (dans le même Datacenter), distants (dans des Datacenters dispersés) ou dans le Cloud Public.

Prenons l’exemple d’une Fédération de quelques systèmes qui contient des dizaines de milliards d’éléments de 4 KB dé-dupliqués, compressés et optimisés. La technologie « DVE » va permettre à cette Fédération de traquer et gérer efficacement tous les éléments pour ensuite prendre des décisions en temps réel sur les éléments qui doivent ou non êtres répliqués, en ayant pris connaissance avec exactitude des correspondances qui existent sur le site de destination.

Concevoir l’architecture globale de données autour de la déduplication, de la compression et de l’optimisation garantit que la valeur de déduplication concerne tous les media, tous les supports (primaires, de sauvegarde ou d’archive), et tous les emplacements.

Augmenter la valeur ajoutée par l’optimisation

Alors que la déduplication est au cœur de la solution OmniCube, « DVE » améliore un peu plus le CAPEX et l’OPEX grâce à des optimisations  associées aux systèmes d’exploitation et aux types de virtualisation. Ces optimisations dans OmniCube obtiennent des effets similaires à la déduplication, mais d’une autre manière :

• Identifier les données qui n’ont pas besoin d’être copiées ou répliquées
• Mettre en place les plans d’action spécifiques pour améliorer l’efficacité globale du système.

Etant donné qu’OmniCube n’est conçu à ce jour que pour l’environnement VMware, la plupart des optimisations  découlent de la connaissance du contenu des commandes spécifiques à VMware.

Par exemple, les fichiers .vswp*, bien qu’importants pour les fonctionnalités de chaque VM individuelle, n’ont pas besoin d’être sauvegardés ou répliqués à travers les sites. Ainsi, lorsqu’il s’apprête à sauvegarder ou répliquer une VM donnée d’un site à un autre, « DVE » reconnaît le fichier .vswp associé et élimine les données correspondantes du transfert, économisant du temps, de la bande passante, et de la capacité.

D’autres optimisations sont de nature similaire, s’appuyant sur une capacité à trouver dans un environnement VMware des types de données communs et de prendre les décisions associées, le tout en temps réel.

* Les fichiers  .vswp sont des fichiers d’échanges de machines virtuelles (swap), uniquement utilisés lorsque la mémoire est sur-allouée. Les fichiers .vswp sont réécrits lorsqu’une VM boot, et il n’y a donc pas de besoin de les capturer dans une sauvegarde. OmniCube est construit pour reconnaitre les fichiers .vswp et par conséquent leur éviter le processus de sauvegarde et de réplication.

OmniCube Global Federation

Avec une donnée optimisée à la source de manière permanente et une architecture globale, capable de gérer des milliards d’éléments, le tout dans un réseau global de systèmes, toute la puissance d’OmniCube délivrée permet :

• Une mobilité efficace des données dans et entre les Datacenters
• Un mouvement intelligent des données à l’intérieur de la fédération
• Un partage des données pour la haute disponibilité
• Des performances de cache accélérées
• Une intégration au Cloud
• Un point unique d’administration globale, automatisé et centré sur la VM

La valeur de la déduplication, de la compression et de l’optimisation est amplifiée dans la Fédération Globale car la bande passante requise est drastiquement réduite comparée aux systèmes qui ne pratiquent pas la déduplication. Autre point important, la vitesse de transmission des données depuis & vers les sites distants et le Cloud est nettement accélérée.

De manière traditionnelle, le succès de la déduplication provient de la comparaison entre les données entrantes et celles qui se trouvent sur la plateforme locale, mais a toujours manqué d’un paramétrage réellement global. A contrario, « DVE » contient un système de messages inter-nœuds avancé qui permet aux systèmes OmniCube de communiquer sur les contenus de leur Datastore locale.  Ce mécanisme permet à chaque système OmniCube d’en savoir suffisamment sur ce qui se trouve sur les systèmes distants  pour être sûr qu’une donnée unique est envoyée lorsqu’un système se réplique vers un autre. Cette même donnée est par ailleurs libérée des commandes liées à VMware et au système d’exploitation, ou toute autre charge. Cette communication inter-nœuds peut avoir des effets impressionnants.

Typiquement, très peu de données ont besoin de traverser les liens dès la première réplication d’une VM donnée. Il s’agit d’une rupture radicale avec n’importe quel autre système de réplication obligé de  transmettre une copie complète des données lors de la première réplication. En réalité, 2 VMs faisant fonctionner par exemple un système d’exploitation comme Windows 2008 ont déjà un grand nombre d’éléments de données en commun. « DVE » reconnaitra de telles données redondantes déjà présentes sur le site distant, et s’assurera que seuls des éléments uniques sont envoyés.

Infrastructure IT hyper convergée globalement fédérée

La nouvelle architecture « DVE » supporte une solution globale intégrée qui consolide et optimise de façon spectaculaire chacune de ces nouvelles technologies en une plateforme unique et performante. Elle se développe de manière pertinente dans le Datacenter, et permet de naturellement l’étendre à travers le monde, y compris dans le Cloud. En résumé, OmniCube est une infrastructure IT « hyper convergée » globalement fédérée, conçue et optimisée pour l’environnement virtuel :

Hyper convergée : OmniCube consolide en un seul bloc de construction évolutif toute l’infrastructure au cœur du Datacenter à laquelle s’ajoutent des fonctionnalités fournies aujourd’hui par une douzaine de produits spécialisés.

Globalement fédérée : Les systèmes  OmniCube sont interconnectés par un réseau qui créée un ensemble dynamique partagé de ressources communes, ainsi qu’une solution optimale de réplication et de reprise d’activité inter-Datacenters.

Optimisée pour l’environnement virtualisé : OmniCube a été conçu et optimisé pour simplifier les opérations IT de l’environnement virtuel. « OmniCube Global Federation » fournit à l’équipe informatique un cadre de travail centré sur la VM et globalement unifié. D’une seule fenêtre, un administrateur peut voir et gérer la totalité des VMs, y compris toutes les copies de sauvegarde et dans tous leurs emplacements à travers le monde.