Comment puis-je supprimer tous les doublons dans une table MySQL sans tables temporaires

J'ai vu un certain nombre de variations de cette, mais rien ne correspond à ce que je suis en train d'accomplir.

J'ai une table, TableA, qui contiennent les réponses données par les utilisateurs configurables questionnaires. Les colonnes sont member_id, quiz_num, question_num, answer_num.

En quelque sorte un peu de membres ont obtenu leurs réponses à deux reprises. J'ai donc besoin de supprimer la copie des enregistrements, mais assurez-vous qu'une ligne est laissé derrière.

Il n'y a pas de primaire colonne il pourrait donc y avoir deux ou trois rangées de tous avec exactement les mêmes données.

Est-il une requête pour supprimer tous les doublons?

  • Est-il une raison pour laquelle vous êtes à l'encontre de la création d'une table temporaire qui peut être retiré avec une simple instruction drop table après les doublons ont été supprimés? Je pourrais vous fournir SQL pour créer une table temporaire avec uniquement les enregistrements uniques, supprimer des enregistrements de la table d'origine, la charge unique de données puis déposez la table temp. Si ce n'est pas une énorme base de données, que cela ne devrait pas prendre trop longtemps. Voici un bon article sur le processus: databasejournal.com/features/mysql/article.php/10897_2201621_2/...
  • double possible de Comment supprimer des enregistrements en double dans la base de données mysql?
  • Je suis à la recherche d'une solution qui est facile (dans le sens le plus large du mot) répétable à la volée. À l'aide de tables supplémentaires, temp ou pas, les moyens à faire tomber le site de tout temps, ce qui est détecté. La meilleure solution serait de faire en sorte qu'il n'arrive jamais à la première place, mais jusqu'alors, je veux que cette vérification/correction à faire sur une base régulière pour s'assurer que les rapports ne donnent pas chancelant résultats
  • Comme je l'ai mentionné dans ma réponse de créer un index sur votre table, Il va supprimer les doublons de données, et vous permet pas d'ajouter des données en double dans l'avenir
  • Double Possible de Supprimer les lignes en double dans MySQL
InformationsquelleAutor MivaScott | 2012-12-26
  1. 101

    Ajouter Index Unique sur votre table: 

    ALTER IGNORE TABLE `TableA`   
ADD UNIQUE INDEX (`member_id`, `quiz_num`, `question_num`, `answer_num`);

    Une autre façon de faire serait:

    Ajouter une clé primaire dans la table, alors vous pouvez facilement supprimer les doublons de votre table à l'aide de la requête suivante: 

    DELETE FROM member  
WHERE id IN (SELECT * 
             FROM (SELECT id FROM member 
                   GROUP BY member_id, quiz_num, question_num, answer_num HAVING (COUNT(*) > 1)
                  ) AS A
            );
    • Je vais aller de l'avant et de choisir ce que la réponse. À la fin, je vais avoir à utiliser une table temporaire à nettoyer la maison, mais je vais assurez-vous d'ajouter l'INDEX UNIQUE, donc il n'y aura pas ce problème dans l'avenir. Maintenant j'ai juste besoin de comprendre comment les choses se sont reproduits dans la première place.
    • Remarque: Si votre table contient 3 ou plusieurs copies de la même ligne, vous aurez besoin d'exécuter ce plus d'une fois
    • Cette réponse serait plus utile s'il y avait une explication des conséquences de l'ajout d'un index unique avec l'IGNORER: apparemment, il supprime les doublons? Savons-nous s'il conserve le premier?
    • Il ressemble à la alter ignore table pourrait disparaître de sitôt: dev.mysql.com/worklog/task/?id=7395
    • Je pense que la commande delete permet de supprimer toutes les données en double. Il ne contiendra pas une seule ligne de données en double.
    • Notez que alter ignore table travaillé pour moi que quand set session old_alter_table=1 a été utilisé avant.
    • a corriger: "MySQL 5.7.4, le IGNORER la clause de l'instruction ALTER TABLE est supprimée et son utilisation génère une erreur."

    InformationsquelleAutor Saharsh Shah
  2. 13

    Ce n'est pas l'utilisation de Tables temporaires, mais de véritables tableaux à la place. Si le problème est juste sur les tables temporaires et non pas sur la création de la table ou de faire tomber les tables, cela va fonctionner:

    SELECT DISTINCT * INTO TableA_Verify FROM TableA;

DROP TABLE TableA;

RENAME TABLE TableA_Verify TO TableA;
    InformationsquelleAutor christoph
  3. 13

    Au lieu de drop table TableA, vous pouvez supprimer tous les registres ( delete from TableA; ), puis de renseigner la table d'origine avec les registres provenant de TableA_Verify (insert into TAbleA select * from TAbleA_Verify). De cette façon, vous n'aurez pas perdu toutes les références à la table d'origine (index,... )

    CREATE TABLE TableA_Verify AS SELECT DISTINCT * FROM TableA;

DELETE FROM TableA;

INSERT INTO TableA SELECT * FROM TAbleA_Verify;

DROP TABLE TableA_Verify;
    InformationsquelleAutor jveirasv
  4. 7

    Grâce à jveirasv pour la réponse ci-dessus.

    Si vous avez besoin de supprimer les doublons d'un des ensembles spécifiques de la colonne, vous pouvez l'utiliser (si vous avez un timestamp dans le tableau qui varient par exemple)

    CREATE TABLE TableA_Verify AS SELECT * FROM TableA WHERE 1 GROUP BY [COLUMN TO remove duplicates BY];

DELETE FROM TableA;

INSERT INTO TableA SELECT * FROM TAbleA_Verify;

DROP TABLE TableA_Verify;
    InformationsquelleAutor nikolais
  5. 6

    Ajouter un Index Unique sur votre table:

    ALTER IGNORE TABLE TableA   
ADD UNIQUE INDEX (member_id, quiz_num, question_num, answer_num);

    est le travail très bien

    • merci, ça marche, mais j'ai eu 1 avertissement(s): 1681 'IGNORER' est obsolète et sera supprimée dans une version future. Doubles: 1 Avertissements: 1
    InformationsquelleAutor Dina Elwy
  6. 3

    Si vous n'utilisez pas une clé primaire, puis exécuter les requêtes suivantes en un seul coup. En remplaçant les valeurs:

    # table_name - Your Table Name
# column_name_of_duplicates - Name of column where duplicate entries are found

create table table_name_temp like table_name;
insert into table_name_temp select distinct(column_name_of_duplicates),value,type from table_name group by column_name_of_duplicates;
delete from table_name;
insert into table_name select * from table_name_temp;
drop table table_name_temp
    1. create temporary table et de stocker distinctes(sans doublon) valeurs
    2. faire vide de la table d'origine
    3. insérer des valeurs de la table d'origine de la table temporaire
    4. supprimer de la table temporaire

    Il est toujours conseillé de prendre la sauvegarde de la base de données avant de jouer avec elle.

    InformationsquelleAutor Sandesh Mhatre
  7. 1

    Comme indiqué dans les commentaires, la requête en Saharsh du Shah, la réponse doit être exécuté plusieurs fois si les articles sont répétées plus d'une fois.

    Voici une solution qui n'est pas de supprimer les données, et permet de conserver les données dans la table d'origine, tout le temps, permettant de doublons supprimés tout en gardant la table en "direct":

    alter table tableA add column duplicate tinyint(1) not null default '0';

update tableA set
duplicate=if(@member_id=member_id
             and @quiz_num=quiz_num
             and @question_num=question_num
             and @answer_num=answer_num,1,0),
member_id=(@member_id:=member_id),
quiz_num=(@quiz_num:=quiz_num),
question_num=(@question_num:=question_num),
answer_num=(@answer_num:=answer_num)
order by member_id, quiz_num, question_num, answer_num;

delete from tableA where duplicate=1;

alter table tableA drop column duplicate;

    Fondamentalement vérifie si la ligne en cours est le même que la dernière ligne, et si elle est, il marque des doublons (le relevé de l'ordre s'assure que les doublons montrera les unes à côté des autres). Ensuite, vous supprimez des enregistrements en double. - Je supprimer le duplicate colonne à la fin de la ramener à son état d'origine.

    Il ressemble alter table ignore pourrait également disparaître de sitôt: http://dev.mysql.com/worklog/task/?id=7395

    InformationsquelleAutor juacala
  8. 1

    Une alternative serait de créer une nouvelle table temporaire avec la même structure.

    CREATE TABLE temp_table AS SELECT * FROM original_table LIMIT 0

    Puis créer la clé primaire dans la table.

    ALTER TABLE temp_table ADD PRIMARY KEY (primary-key-field)

    Enfin copie de tous les enregistrements de la table d'origine, tout en ignorant les enregistrements en double.

    INSERT IGNORE INTO temp_table AS SELECT * FROM original_table

    Maintenant, vous pouvez supprimer la table d'origine et renommez la nouvelle table.

    DROP TABLE original_table
RENAME TABLE temp_table TO original_table
    InformationsquelleAutor user1838915