Très grandes données dans une table mysql. Même les instructions select prendre beaucoup de temps

Je suis en train de travailler sur une base de données, et c'est une assez grande avec 1,3 milliard de lignes et autour de 35 colonnes. Voici ce que j'obtiens après vérification de l'état de la table:

Name:Table Name
Engine:InnoDB
Version:10
Row_format:Compact
Rows:12853961
Avg_row_length:572
Data_length:7353663488
Max_data_length:0
Index_length:5877268480
Data_free:0
Auto_increment:12933138
Create_time:41271.0312615741
Update_time:NULL
Check_time:NULL
Collation:utf8_general_ci
Checksum:NULL
Create_options:
Comment:InnoDB free: 11489280 kB

Le Problème, je suis confronté à que même une seule requête select prend trop de temps pour traiter par exemple une requête Select * from Table_Name limit 0,50000 prend autour de 2,48 minutes
Qui est attendu?

Je dois faire un rapport dans lequel je dois utiliser l'ensemble des données historiques, c'est l'ensemble de 1,3 milliards de lignes. Je pouvais faire ce lot par lot, mais alors que j'aurais à exécuter des requêtes qui prennent trop de temps à plusieurs reprises, encore et encore.

Lorsque la requête simple est de prendre autant de temps que je ne suis pas capable de faire n'importe quelle autre requête complexe qui doit le rejoint et l'affaire états.

peut-on prendre un coup d'oeil de votre base de données de schéma? exécuter DESC Table\ Name
Ajouter des index dans votre Tableau, utilisez l'Index de la Colonne dans la clause where.
Ne pas utiliser * pour la sélection, extraire uniquement les colonnes souhaitées.
je ne suis pas sûr de la configuration de mysql, mais pour avoir plus rapidement les requêtes sql exécuter le plan d'expliquer - voir où le coût et la mémoire sont. le poster ici et nous vous ferons savoir comment faire des requêtes sql plus vite
Essayez la gamme de partitionnement sur votre table. n'affecte pas vos données. peut améliorer votre performance

OriginalL'auteur Rahul Agarwal | 2012-12-28

  1. 7

    Une pratique courante est, si vous avez énorme quantité de données, vous ...

    1. ne devrait pas SELECT * : Vous devez seulement sélectionner les colonnes que vous souhaitez
    2. devrait Limiter l'extraction de gamme à un plus petit nombre: je parie que vous ne gère pas les 50000 dossiers en même temps. Essayez de chercher lot par lot.
    je dois faire un rapport dans lequel je dois utiliser l'ensemble de l'historique des données qui est l'ensemble de 1,3 milliards de lignes. Je peux faire ce lot par lot, mais alors que j'aurais à appliquer des requêtes sur le temps qui sont encore en prenant trop de temps à ajouter à cet immense nombre de lots que j'ai à traiter. Vraiment coincé ici
    Des requêtes de reporting toujours passé beaucoup de temps. La vraie solution est de définir une requête qui permet de récupérer toutes les données utiles (aucune ordure) à partir de vos données. Ajouter des index si applicable
    create table interm1 as select device_uuid,name from Table name une requête comme ceci prend environ 20-30 minutes.

    OriginalL'auteur Raptor

  2. 1

    Un problème commun à de nombreux administrateurs de base de données visage. La solution: la mise en Cache.

    Briser les Requêtes de plus en plus simples et les petites requêtes. Utilisation Memcached ou d'autres techniques de mise en cache et les outils de Memcached enregistre clé vaue paires, vérifier les données dans memcache..si disponible, utilisez-le. Si pas d'extraire de la base de données et ensuite utiliser et cach. Prochaine cravate les données seront disponibles à partir de cahe.

    Vous aurez à développer sa logique et de modifier certaines requêtes. Memcached est disponible ici:

    http://memcached.org/

    De nombreux tutoriels sont disponibles sur le Web

    je ne recommande pas memcached pour "cacher" mal conçu (sans index) des tables. semble que pour "masquer les déchets sous le tapis"
    non..databses sont lents!! la mise en cache est rapide..à partir de facebook à twitter..tous les grands sites d'utilisation de memcache.
    j'ai utiliser memcached tous les jours, mais je utiliser memcached une fois que j'ai mes requêtes affiné, et si vous voulez de nouvelles données (données du rapport, les statistiques en temps réel,etc) memcached est inutile
    La mise en cache serait inutile pour un rapport d'application. 1. il a l'habitude accéder aux mêmes données fréquemment. 2. la mise en cache est utile pour les applications web pour accéder à des données fréquemment utilisées

    OriginalL'auteur geekman

  3. 1

    activer dans votre mon.conf les requêtes lentes jusqu'à N secondes, puis exécuter des requêtes et de regarder ce journal, cela vous donne quelques indices et vous pourriez peut-être ajouter un peu de index à cette table.

    ou faire des requêtes avec l'EXPLIQUER. http://hackmysql.com/case1

    Requête avec 1,3 milliards de lignes est probablement prendre plus de 1 seconde. Donc, slow query log log tous son rapport instruction SQL.
    le croire ou pas, je m'occupe de certaines tables avec ce nombre de lignes et le sélectionne prend moins de 1 sec 😀

    OriginalL'auteur jacktrade

  4. 0

    Une note rapide qui est habituellement une victoire facile ...

    Si vous avez des colonnes de texte de grande taille des gouttes, essayez de sélectionner tout, sauf pour ceux des champs. J'ai vu varchar(max) champs absolument tuer l'efficacité des requêtes.

    OriginalL'auteur ryan1234

  5. 0

    Vous disposez d'un très large en moyenne de la taille de ligne et de 35 colonnes. Vous pouvez essayer à la verticale partitionnement de la table, qui est, de diviser le tableau en petites tables qui sont liées les unes aux autres de 1:1 avec un sous-ensemble des colonnes de la table. InnoDB stocke des lignes dans les pages et n'est pas efficace pour des lignes très large.

    Si les données sont append-only envisager de chercher à GLACE.

    Vous pouvez également regarder TokuDB car il prend en charge une bonne compression.

    Vous pouvez envisager d'utiliser le partitionnement et le Fragment de la Requête (http://code.google.com/p/shard-query) pour accéder à des données en parallèle. Vous pouvez également partager des données sur plus d'un serveur pour le parallélisme à l'aide du Fragment-Requête.

    OriginalL'auteur Justin Swanhart

  6. -2

    Essayez d'ajouter la clause where: OÙ 1=1
    Si il ne donne aucun effet alors vous devez changer votre type de moteur à MyISAM.

    ne semble pas liée . Par la manière, en changeant le Moteur DB avec une telle quantité de données prend beaucoup de temps.
    je ne peux pas modifier ma base de données. Je crois que mySql doit avoir une sorte de solution pour les grandes tables
    MyISAM est plus rapide en lecture que InnoDB. Je pense que c'est mieux si tu test avec des tables qui ont beaucoup de lignes, puis de donner une opinion.
    Dans le passé, j'ai été confronté à un problème similaire. L'ajout d'OÙ 1=1 réduit le temps d'exécution, mais de le changer de moteur de type MyISAM, il s'améliore plus.
    Où 1=1 est vrai pour toutes les conditions, et auront la même plan d'exécution et que, sans la Où. Essayez d'EXPLIQUER que vous allez voir.

    OriginalL'auteur gezimi005