L’architecture OmniStack de Simplivity

Ce billet présente l’architecture hyper-convergente de Simplivity au travers de sa technologie « OmniStack » et la gestion de la donnée au sein d’une solution OmniCube.

Architecture d'une Appliance « OmniCube »

OmniStack est la technologie de Simplivity conçue pour faire fonctionner les Appliances « OmniCube ». Les deux principaux composants de l’architecture sont :

• Le contrôleur virtuel « OVC »
• Le moteur de virtualisation de données « DVE »

Le contrôleur virtuel « OVC » (OmniCube Virtual Controller) est une VM qui est déployée lors de la configuration initiale du nœud OmniCube. Toute l’intelligence du système réside dans ce contrôleur.

Le moteur de virtualisation de données « DVE » (Data Virtualization Engine) est un module qui réalise la déduplication et la compression du flux de données en ligne, à la source et en temps réel.

Pour permettre une telle performance sans impact sur la latence, OmniCube contient une carte « OAC » qui est l’abréviation de l’appellation « OmniCube Accelerator Card ». Il s’agit d’une carte PCIe dédiée qui contient un composant ASIC (Application-Specific Integrated Circuit)  qui n’est autre qu’un circuit logique, intégré et programmable FPGA ainsi que plusieurs autres composants destinés à accélérer tous les traitements. L’accélérateur OmniCube est directement rattaché au contrôleur virtuel « OVC » et traite toutes les écritures entrantes dans OmniCube en temps réel.

De par cette technologie OmniStack, OmniCube devient l’Appliance hyper-convergée de Simplivity. Il faut implémenter un minimum de deux Appliances (appelées aussi « nœuds ») pour fédérer un pool évolutif de ressources partagées (Cluster) et en faire un « Datacenter in a box ».

Côté hardware, l’Appliance est composée d’un serveur x86 standard de 2U. Le stockage interne est construit sur deux grappes RAID différentes :

• Une grappe RAID-5 à base de stockage flash pour optimiser les performances, composée de plusieurs disques SSD (Solid-State Drive).
• Une grappe RAID-6 à base stockage magnétique pour optimiser la capacité,  composée de 8 à 20 disques durs (HDDs).

Le stockage est directement présenté au contrôleur virtuel « OVC », rendant la couche matérielle de stockage complètement transparente pour le contrôleur de stockage.

Côté réseau, deux ports Gigabit Ethernet (1GbE) sont dédiés au réseau des VMs et deux ports 10 Gigabit Ethernet (10 GbE) sont dédiés au réseau de stockage.

Des ports additionnels 1GbE ou 10GbE peuvent être optionnellement rajoutés

Flux de données optimisé à l'écriture

Le flux de données dans OmniStack est optimisé pour les performances IOPs et pour minimiser la latence.

Il y a 4 étapes principales à l’entrée de la donnée:

1. La donnée de la VM est envoyée dans le contrôleur virtuel (OVC) à travers la pile de stockage de l’hyperviseur.
2. Le contrôleur virtuel (OVC) envoie ensuite la donnée vers deux OmniCube Accelerator Card (OAC), un sur le nœud local et le deuxième sur un nœud distant du Cluster.
3. Dès que les accélérateurs (OAC) local et distant reçoivent la donnée, ils accusent réception à la VM via leur contrôleur virtuel (OVC).
4. Sur chaque nœud, la donnée est traitée localement par des algorithmes de compression et déduplication de l’accélérateur avant d’être écrite par le contrôleur virtuel sur le stockage sous-jacente local.

Comme un second host du Cluster a lui aussi reçu la donnée, il n’est pas nécessaire d’attendre l’accusé de réception de la VM pour écrire la donnée sur le disque. Ce mécanisme va permettre d’augmenter les IOPs et de diminuer la latence sans pour autant dégrader la fiabilité ou risquer de perdre des données.

Optimisation des données

Toutes les données entrantes sont traitées en temps réel par les algorithmes de compression et déduplication de l’OmniCube Accelerator Card (OAC). Un des avantages significatif du traitement temps réel est d’optimiser « post process » la donnée non compressée sans avoir eu besoin de la stocker auparavant dans les disques.

De plus, si plusieurs machines d’un nœud ont le même type de données, comme par exemple le binaire d’un système d’exploitation, cette dernière ne sera écrite qu’une fois, ce qui aura pour effet d’économiser l’espace de stockage et d’allouer plus de temps aux disques pour traiter les requêtes en lecture.

Architecture Globale fédérée

Un des avantages majeurs d’OmniStack est l’empreinte des données optimisées. En effet, comme les blocs de données sont dé-dupliqués ils possèdent une clé d’identification répertoriée dans une table du cache global. SI un nouveau bloc de données qui existe déjà a besoin d’être écrit, une nouvelle clé est simplement ajoutée à cette table. Le processus est exactement le même quand on copie des données. Par exemple, grâce au support de VAAI en version 2.1 du logiciel, cloner une VM ne prend que quelques secondes.

Régle de protection des données

Ceci est également vrai pour la protection des données, même à travers plusieurs sites. Par exemple, quand une machine Windows Server 2012 doit être copiée sur le WAN vers un autre site, seuls les blocs uniques de données compressées et optimisées seront copiés. Si au moins une instance  Windows Server 2012 fonctionne déjà sur le site, alors aucun des blocs référencés par Windows n’a besoin d’être déplacé sur le WAN. Le cas échéant, ces blocs uniques étant déjà compressés et dé-dupliqués, ils impacteraient beaucoup moins la bande passante. Ceci signifie que les VMs peuvent être protégées à travers tout le pays ou le monde entier plusieurs fois par jour. Les points de protection des données sont toujours des images complètes des VM puisqu’elles sont composées de tous les blocs uniques de cette  machine à un moment donné. Il n’y a plus besoin de points de reprise incrémentaux pour récupérer des images.

Installation d'une Appliance

Une Appliance « OmniCube » est préinstallée avec VMware ESXi.

Pour démarrer, il faut simplement installer le plugin « Simplivity VMware vCenter » et connecter l’hyperviseur à vCenter. Il sera automatiquement détecté comme une nouvelle « boîte vide Simplivity » et un processus de configuration guidée va commencer.

Un nouveau contrôleur virtuel sera déployé et 2 vSwitches standards seront installés

• Un pour les NICs 1GbE (réseau VM).
• Un pour les NICs 10GbE (réseau stockage).

Trois réseaux logiques seront également créés :

• Réseau de management
• Réseau de stockage (frontal  NFS),
• Réseau de fédération (trafic « back-end »).

Si le port du frontal NFS est rendu visible pour les switches physiques, un host ESXi existant du Datacenter pourrait tout à fait utiliser la banque de données d’OmniStack. En l’espace de quelques minutes, les premières VMs peuvent être déployées.

On ajoute aussi simplement de nouveaux nœuds au Cluster en suivant la même procédure.