comment netezza travail? comment se comparent à Hadoop?
Voulez comprendre si Netezza ou Hadoop est le bon choix pour les buts ci-dessous:
- Pull nourrir des fichiers à partir de plusieurs sources en ligne, de taille considérable à la fois plus qu'un GO.
- Nettoyer, filtre, de transformer et de calcul de plus amples informations à partir du flux.
- Produire des mesures sur les différents aspects similaire à la façon dont les données de l'entrepôt de cubes de le faire, et
- Aide webapps pour accéder à la finale des données/indicateurs plus vite à l'aide de SQL ou toute autre norme mécanismes.
OriginalL'auteur sandeepkunkunuru | 2010-12-29
Vous devez vous connecter pour publier un commentaire.
Comment il fonctionne:
Comme les données sont chargées dans l'Appareil, il est intelligemment sépare chaque tableau, à travers les 108 SPUs.
Généralement,
le disque dur est la partie la plus lente de l'ordinateur. Imaginez 108 de ces de le faire tourner à la fois, le chargement d'une petite
morceau de la table. C'est de cette façon Netezza réalise une de 500 Gigaoctets une heure de temps de charge.
Après un morceau de la table est chargé et stockées sur chaque SPU (ordinateur sur un circuit intégré de la carte), chaque
la colonne est de l'analyse de statistiques descriptives telles que les valeurs minimale et maximale. Ces valeurs sont
stockées sur chacun des 108 SPUs, au lieu de l'index, qui prenez le temps de créer, mis à jour et prendre
l'espace inutile.
Imaginez votre environnement sans avoir besoin de créer des index.
Quand il est temps pour interroger les données d'un master en informatique à l'intérieur de l'Appareil requêtes les SPUs pour voir qui
contient les données requises.
Ne les SPUs qui contiennent des données appropriées retour de l'information, donc
moins de circulation de l'information à travers le réseau de l'Intelligence d'Affaires/Analytics Server.
Pour l'assemblage de données, c'est encore mieux.
L'Appareil distribue des données dans plusieurs tables dans de multiples SPUs
par une clé. Chaque SPU contient une partie des données de plusieurs tables. Il rejoint les pièces de chaque table localement sur chaque SPU
en ne retournant que les locaux de résultat. Tous les résultats sont assemblés en interne dans le cabinet, puis
retourné à l'Intelligence d'Affaires/Analytics Server en tant que résultat de la requête. Cette méthode contribue également
à la vitesse de l'histoire.
La clé de tout cela est ‘moins de mouvement de données à travers le réseau". L'Appareil ne retourne des données
nécessaire retour à l'Intelligence d'Affaires/Analytics server à travers l'organisation de 1000/100 MO réseau.
C'est très différent de traitement traditionnel où l'Intelligence d'Affaires/Analytics, logiciel généralement
les extraits de la plupart des données de la base de données pour effectuer son traitement sur son propre serveur. La base de données de l'
de travail afin de déterminer les données nécessaires, de retour d'un petit sous-ensemble de résultats à l'Intelligence d'Affaires/Analytics
serveur.
De Sauvegarde Et De Redondance
Pour comprendre comment les données et le système sont mis en place pour presque 100% de disponibilité, il est important de comprendre
la conception interne. Il utilise de l'extérieur, de plus rapide, un tiers une partie de chaque 400 go de disque pour le stockage des données et
de la récupération. Un tiers du disque stocke les statistiques descriptives et l'autre tiers magasins chaud la sauvegarde des données de
d'autres SPUs. Chaque Appareil coffret contient également 4 autres SPUs automatique de basculer de l'un des 108
SPUs.
Pris de http://www2.sas.com
OriginalL'auteur John Crazy
Je voudrais envisager de séparer la conception du lot processus ETL et plus de requêtes SQL. Je pense
les numéros suivants sont importants pour évaluer les décisions:
a) Combien de lignes de données que vous souhaitez traiter au quotidien?
b) Combien de lignes de données que vous souhaitez stocker dans le système?
c) Quelle sera la taille du SGBDR jeu de données.
d) Quel genre de Sql vous allez avoir? Ici, je veux dire - est-il ad-hoc Sql ou bien planifié rapports. Une autre questions avez - vous besoin de jons entre deux grandes tables.
Avec au-dessus de questions-réponses, il sera possible de donner de meilleures réponses.
Par exemple, je considère Netezza comme option lorsque vous avez besoin d'rejoint de très grandes tables, et hadoop - si vous avez besoin de stocker des téraoctets de données.
oui, il y a trois grandes tables post ETL maintenant. La plupart des requêtes sont sur une de ces tables ou sur cube construit à l'aide de ces tables. Mais il est prévu que les jointures seraient nécessaires à l'avenir.
OriginalL'auteur David Gruzman
Il semblerait, d'après vos réponses qui Netezza peut être plus adapté à vos besoins. Il gère les requêtes ad-hoc très bien et la dernière version de leur logiciel dispose d'un support intégré pour les cumuls et les cubes. Aussi, Netezza opère sur l'échelle de téraoctets de données de sorte que vous devriez être plus en mesure de traiter les données dont vous disposez.
OriginalL'auteur Nik
Si vous traitez avec l'ELT scénario où vous avez à charge de grands volumes de fichiers et de les traiter plus tard comme filtre, transformer et charger à l'utilisation des bases de données à des fins d'analyse, alors vous pouvez utiliser hadoop pour charger les fichiers et Netezza comme la cible de la mise en scène ou de l'entrepôt de données de la zone. Avec hadoop, vous pouvez mettre tous vos fichiers dans HDFS et puis lues à l'aide d'ETL outil pour transformer, filtre, etc ou de l'utilisation de la Ruche SQL pour écrire votre requête les données contenues dans ces fichiers. Cependant, hadoop base de données de l'entrepôt de la Ruche ne prend pas en charge les mises à jour et ne prend pas en charge toutes les instructions SQL. Par conséquent, il est préférable de lire ces fichiers à partir de HDFS, appliquer des filtres, de la transformation et de charger le résultat traditionnels des données entrepôt appareil, comme netezza pour écrire vos requêtes pour les cubes.
Si vous êtes chaque jour de chargement GO de données netezza à l'atterrissage, la mise en scène et mart zone est alors probable que vous finirez par utiliser beaucoup d'espace. Dans ce scénario, vous pouvez faire votre atterrissage de l'espace pour être sur hadoop et ensuite faire votre mise en scène et mart zones à netezza. Si vous avez des requêtes sont simples et vous ne faites pas très complexe filtrage etc ou des mises à jour de la source de peut être, vous pouvez tout gérer avec hadoop.
Pour conclure, hadoop est idéal pour les grands volumes de données, mais ne prend pas en charge toutes les fonctionnalités d'un traditionnel de l'entrepôt de données.
Vous pouvez consulter ce lien pour voir les différences:
http://dwbitechguru.blogspot.ca/2014/12/how-to-select-between-hadoop-vs-netezza.html
OriginalL'auteur prady3041