Base de données distribuée MPP H3C DataEngine

Stockage et calcul avancés en colonnes

Dans H3C DataEngine MPP, chaque colonne de données est stockée indépendamment dans un bloc de stockage de disque dur continu. C'est fondamentalement différent d'une base de données linéaire traditionnelle qui stocke les données en continu dans l'ordre des lignes.

H3C DataEngine MPP prend également en charge la technologie de décompression retardée. L'optimiseur et le moteur d'exécution de H3C DataEngine MPP tirent pleinement parti de la technologie de calcul en colonne pour prendre en charge l'accès direct aux valeurs après codage des données dans les conditions et associations de requête sans avoir à les décoder au préalable. Ainsi, H3C DataEngine MPP permet d'économiser considérablement sur les frais généraux du processeur lors des requêtes de données, ce qui améliore les performances globales des requêtes.

Compression active à haute efficacité

H3C DataEngine MPP prend en charge plus de 12 algorithmes de compression tels que: Run Length Encoding, Delta value encoding, compression d'entiers pour des données entières, codage de dictionnaire de blocs pour des données de caractères, codage Lempel - Ziv pour d'autres types de données, etc.

H3C DataEngine MPP a généralement un taux de compression de données allant jusqu'à 10: 1. Du point de vue des économies de consommation de ressources d'E / s, la technologie de compression active de H3C DataEngine MPP peut apporter des gains de performance d'environ un ordre de grandeur par rapport aux bases de données linéaires traditionnelles pour les systèmes d'analyse où l'E / s est un goulot d'étranglement majeur. Cependant, les caractéristiques des données commerciales varient considérablement d'un secteur à l'autre. Par conséquent, H3C DataEngine MPP n'a pas le même taux de compression pour différents types de données.

Calcul parallèle à grande échelle unique et pratique sans partage et évolutivité

H3C DataEngine MPP prend en charge les extensions de Cluster en ligne en un clic. Joignez et supprimez des nœuds en un clic et effectuez automatiquement la redistribution des données, le processus d'expansion n'ayant pas besoin d'interrompre l'activité en cours. Tous les nœuds d'un Cluster MPP DataEngine H3C sont entièrement Peer - to - peer, aucun nœud maître n'est requis, et le chargement de données, l'exportation de données et les requêtes peuvent être exécutés simultanément sur tous les nœuds en parallèle. Comme il n'y a pas de partage de ressources, l'ajout de nœuds permet d'étendre linéairement la capacité de données et la puissance de calcul de H3C DataEngine MPP, de passer facilement de quelques nœuds à des milliers de nœuds ou de quelques téraoctets à plusieurs dizaines de pétaoctets pour répondre aux exigences de croissance de l'entreprise.

Stockage hiérarchisé basé sur les affaires

À l'ère du Big Data, les données sont générées de plus en plus rapidement, tandis que la conformité et l'exploration en profondeur nécessitent de conserver plus de données et, par conséquent, de stocker de plus en plus de données dans les bases de données. H3C DataEngine MPP peut optimiser les coûts de stockage en spécifiant différentes stratégies de stockage pour différents objets tels que Schema, tables et partitions de tables, en spécifiant différents emplacements de stockage (sur des supports de stockage de performances, de coûts et de capacités différents). Dans le même temps, H3C DataEngine MPP prend également en charge la sauvegarde de certaines tables et partitions de table sur un stockage hors ligne et la récupération à partir de ce stockage, ce qui accélère considérablement l'échange de données entre le stockage en ligne et hors ligne, améliorant ainsi l'utilisation et la valeur commerciale des appareils en ligne.

Conception auto - optimisée intégrée

Le concepteur de H3C DataEngine MPP fournit non seulement une conception optimisée globale de la base de données ou du schéma, mais prend également en charge l'optimisation incrémentielle pour certaines requêtes spécifiques. En outre, H3C DataEngine MPP fournit un analyseur de charge pour collecter des données sur la charge d'exécution de la base de données et fournir des recommandations d'automatisation à tout moment. Ce qui réduit considérablement les coûts de gestion de votre DBA.

Système de garantie de stabilité

H3C DataEngine MPP permet une haute disponibilité en maintenant plusieurs sauvegardes redondantes de vos données. H3C DataEngine MPP garantit que les données redondantes sont stockées hachées sur différents nœuds, ce qui permet une mise en miroir intelligente des données intégrée. H3C DataEngine MPP appelle cela la fiabilité de coefficient de classe K (K - Safety), K se référant au nombre de jonctions arbitraires que H3C DataEngine MPP peut tolérer qui peuvent échouer.

La fiabilité des coefficients de niveau K garantit qu'en cas de défaillance de n'importe quel nœud K, au moins une donnée complète est toujours présente dans le cluster en réponse aux demandes de traitement de données et d'interrogation. Les défaillances de nœuds sont transparentes pour l'application et n'interrompent pas l'exécution du trafic. En ajustant le nombre de copies de données redondantes, H3C DataEngine MPP peut obtenir la disponibilité nécessaire pour répondre aux besoins de conception de différentes applications.

H3C DataEngine MPP prend en charge nativement les groupes tolérants aux pannes et la perception du rack. La redondance des données de H3C DataEngine MPP est un groupe tolérant aux pannes, et lorsque les nœuds d'un groupe tolérant aux pannes (généralement un boîtier ou même une zone comprenant plusieurs boîtiers) échouent, cela garantit que les données de l'ensemble de la base de données sont complètes et valides, évitant ainsi efficacement les dommages causés à La disponibilité de l'ensemble du cluster par des pannes matérielles massives telles que des pannes de courant du boîtier.

Machine Learning dans la bibliothèque

Les systèmes d’analyse de données traditionnels utilisent le processus opérationnel « demande d’analyse / d’exploration – levée de données – analyse / exploration – Présentation des résultats ». L'arrivée du Big Data a fait des réseaux des goulots d'étranglement et des délais élevés pour les tâches d'analyse / d'exploration deviennent insupportables.

H3C DataEngine MPP met l'accent sur la mise en place d'algorithmes d'analyse / d'exploration dans la base de données, permettant aux algorithmes et aux données de s'intégrer étroitement, en tirant pleinement parti de la puissance de calcul en temps réel apportée par les caractéristiques de l'architecture colonne et MPP de H3C DataEngine MPP pour effectuer efficacement Les tâches d'analyse / d'exploration.

En plus de l'analyse statistique courante et de l'analyse de régression linéaire, H3C DataEngine MPP s'appuie sur SQL - 99 pour fournir des fonctionnalités analytiques avancées basées sur des séries chronologiques, des analyses de correspondance de modèles, des analyses géographiques et bien plus encore. Ces fonctionnalités réduiront considérablement le travail des utilisateurs eux - mêmes dans le développement d'analyses de données complexes et leur permettront d'effectuer des tâches analytiques dans des environnements à volume de données élevé. H3C DataEngine MPP prend en charge l'analyse convergée structurée et non structurée, ce qui, combiné aux capacités d'analyse supérieures de H3C DataEngine MPP et Hadoop, respectivement structurée et non structurée, permet de créer des solutions d'analyse convergée efficaces.

Capacités de développement et d'expansion

H3C DataEngine MPP est très compatible. Prend en charge les normes SQL - 92 / SQL - 99 / SQL - 2003 et fournit des pilotes ODBC, JDBC, ado.net qui peuvent être facilement intégrés aux outils ETL existants (tels qu'Informatica, datastage), aux outils de reporting (tels que Bo, Cognos, etc.) et aux outils d'analyse (tels que SAS, spass, etc.) pour protéger les investissements existants.

Le serveur MPP H3C DataEngine utilise un serveur linux x86 qui prend en charge les principaux serveurs x86 et distributions Linux. H3C DataEngine MPP fournit également un SDK pour le développement de fonctions personnalisées qui permettent aux utilisateurs d'utiliser H3C DataEngine MPP comme plate - forme de calcul Big Data et d'ajouter leurs propres algorithmes d'analyse et de traitement de données en tant qu'extensions via le langage C + + / R / Java à H3C DataEngine MPP pour tirer pleinement parti des technologies MPP et de calcul en colonne de H3C DataEngine MPP, permettant aux utilisateurs de disposer immédiatement d'une puissance de traitement efficace pour l'analyse Big Data.

H3C DataEngine MPP prend en charge les extensions de Cluster en ligne en un clic. Joignez et supprimez des nœuds en un clic et effectuez automatiquement la redistribution des données, le processus d'expansion n'ayant pas besoin d'interrompre l'activité en cours.

Sécurité des bases de données

H3C DataEngine MPP offre une sécurité élevée. H3C DataEngine MPP prend en charge plusieurs méthodes de certification. Seuls les utilisateurs certifiés sont autorisés à accéder à H3C DataEngine MPP. Dans le même temps, H3C DataEngine MPP fournit des rôles et des mécanismes d'autorisation complets pour contrôler de manière flexible l'accès des utilisateurs aux données. Support multi - tenant et sandboxing, implémentation du mode de gestion Multi - tenant de la base de données. Le modèle multi - locataires peut tirer pleinement parti de la différence de temps « pic - vallée» de la consommation de ressources entre les différents locataires / applications pour permettre le partage des ressources.

En outre, H3C DataEngine MPP prend également en charge les fonctionnalités de sauvegarde et de restauration de certains objets de base de données (par exemple, Schema, tables) et prend en charge la gestion des stratégies de sauvegarde par client, ce qui permet aux clients de gérer le cycle de vie complet de leurs propres objets de données. La fonctionnalité de sauvegarde et de restauration d'objets de la partie base de données de H3C DataEngine MPP prend en charge la gestion hiérarchique Multi - niveaux des systèmes Big Data par application et par utilisateur.

Stockage et calcul optimisés en colonnes

Dans H3C DataEngine MPP, chaque colonne de données est stockée indépendamment dans un bloc de stockage de disque dur continu. C'est fondamentalement différent d'une base de données linéaire traditionnelle qui stocke les données en continu dans l'ordre des lignes. H3C DataEngine MPP prend en charge la technologie de matérialisation retardée. Pour la plupart des requêtes analytiques, il est souvent nécessaire d'obtenir un seul sous - ensemble de toutes les données de colonne. H3C DataEngine MPP column Optimizer et le moteur d'exécution peuvent sauter des colonnes indépendantes dans le magasin de colonnes, ce qui permet d'économiser beaucoup de consommation de ressources d'E / S.

Compression active

Contrairement à d'autres bases de données qui prétendent prendre en charge le stockage de colonnes pour le stockage dans l'ordre inverse de l'insertion des données, H3C DataEngine MPP sélectionne automatiquement les algorithmes de tri et de compression applicables en fonction du type de données, de la Cardinalité et des caractéristiques de la requête de chaque colonne, afin de réduire autant que possible l'espace de stockage occupé par les données, de réduire la consommation d'E / s des requêtes et d'améliorer les performances des requêtes. H3C DataEngine MPP prend en charge plus de 12 algorithmes de compression.

Calcul parallèle massif et évolutivité sans partage

Tous les nœuds d'un Cluster MPP DataEngine H3C sont entièrement Peer - to - peer, aucun nœud maître n'est requis, et le chargement de données, l'exportation de données et les requêtes peuvent être exécutés simultanément sur tous les nœuds en parallèle. Comme il n'y a pas de partage de ressources, l'ajout de nœuds permet d'étendre linéairement la capacité de données et la puissance de calcul de H3C DataEngine MPP, de passer facilement de quelques nœuds à des milliers de nœuds ou de quelques téraoctets à plusieurs dizaines de pétaoctets pour répondre aux exigences de croissance de l'entreprise.

Stockage gradué

À l'ère du Big Data, les données sont générées de plus en plus rapidement, tandis que la conformité et l'exploration en profondeur nécessitent de conserver plus de données et, par conséquent, de stocker de plus en plus de données dans les bases de données. Les performances analytiques, le coût élevé des disques haute vitesse et les exigences de capacité de Big Data sont souvent contradictoires. La fonctionnalité de stockage hiérarchique de H3C DataEngine MPP peut résoudre efficacement cette contradiction. H3C DataEngine MPP peut optimiser les coûts de stockage en spécifiant différentes stratégies de stockage pour différents objets tels que Schema, tables et partitions de tables, en spécifiant différents emplacements de stockage (sur des supports de stockage de performances, de coûts et de capacités différents).

Conception optimisée automatiquement

H3C DataEngine MPP intègre un concepteur d'optimisation de base de données avec des connaissances d'experts. Les utilisateurs doivent simplement spécifier un schéma logique (schema), monter des données d'échantillon et fournir des instructions SQL de requête typiques, et le concepteur d'optimisation de base de données de H3C DataEngine MPP conçoit automatiquement la distribution horizontale des données, le tri de chaque colonne et l'algorithme de compression en fonction des connaissances spécialisées, équilibrant Les performances de la requête et les exigences de taille de l'espace de stockage pour optimiser la base de données dans son ensemble.

Plateforme d'analyse Cloud native

H3C DataEngine MPP prend en charge simultanément la séparation des ressources de calcul et de stockage dans les scénarios de Cloud public et privé, combinée à la haute performance sans MPP partagé et aux avantages de la mise à l'échelle rapide du stockage partagé, la copie principale des données dans le stockage partagé est facile à mettre à l'échelle à grande vitesse et les données chaudes sont localisées localement dans les ressources de calcul pour fournir des performances à haute vitesse, tout en permettant une expansion élastique de la capacité d'avaler grâce à un « sous - cluster» qui évite le gaspillage de ressources avec un nombre excessif de nœuds de Cluster dans des scénarios de charge simultanée élevée.

Architecture MPP sans partage: H3C DataEngine MPP avec des centaines ou des milliers de nœuds de calcul parallèle est la clé de l'architecture pour soutenir l'analyse Big Data avec des ressources de calcul et de stockage suffisantes. Les architectures MPP sans partage ne nécessitent pas de stockage partagé, ni même de nœuds maîtres (de tête) dédiés, avant de pouvoir s'étendre à des centaines ou des milliers de nœuds pour supporter l'analyse Big Data.

Prise en charge native de la haute disponibilité: H3C DataEngine MPP dispose d'une haute disponibilité intégrée qui permet une transparence de l'application sans interruption de l'activité en cours en cas de défaillance du nœud dans la plage de disponibilité de la conception. Les fonctions incrémentales de sauvegarde et de restauration, de sauvegarde et de restauration d'objets partiels de base de données de H3C DataEngine MPP garantissent une restauration rapide des applications en cas de sinistre.

Base de données colonne optimisée: la clé de la performance analytique du Big Data élimine les goulots d'étranglement liés aux frais généraux d'E / S. H3C DataEngine MPP column Storage and Computing (Column Engine) offre des fonctionnalités complètes, notamment des opérations d'ajout, de suppression et de modification, et est essentiel pour prendre en charge les requêtes analytiques hautes performances et les requêtes ad hoc dans des conditions de Big Data.

Plate - forme idéale pour l'analyse en temps réel des données volumineuses: grâce à une technologie de stockage et de calcul en colonnes haute performance qui prend en charge la compression active des données, l'analyse avancée et des fonctionnalités avancées telles que la mise à l'échelle élastique ainsi que des extensions externes personnalisées, H3C DataEngine MPP est la plate - forme idéale pour soutenir l'analyse en temps réel des données volumineuses.