Trouver et supprimer les doublons de lignes par deux colonnes

J'ai lu tous les dupliqué questions/réponses et j'ai trouvé ceci pour être les plus pertinents de la réponse:

INSERT IGNORE INTO temp(MAILING_ID,REPORT_ID) 
SELECT DISTINCT MAILING_ID,REPORT_IDFROM table_1
;

Le problème est que je veux supprimer les doublons par col1 et col2, mais également inclure les insérer tous les autres domaines de la table_1.

J'ai essayé d'ajouter toutes les colonnes de cette façon:

INSERT IGNORE INTO temp(M_ID,MAILING_ID,REPORT_ID,
MAILING_NAME,VISIBILITY,EXPORTED) SELECT DISTINCT  
M_ID,MAILING_ID,REPORT_ID,MAILING_NAME,VISIBILITY,
EXPORTED FROM table_1
;


M_ID(int,primary),MAILING_ID(int),REPORT_ID(int),
MAILING_NAME(varchar),VISIBILITY(varchar),EXPORTED(int)

Mais il inséré toutes les lignes en temp (y compris les doublons)

  • Eh bien pour une chose, ne pas utiliser de INSERT IGNORE dans votre cas, 2 --> Comment est votre db table?
  • pouvez-vous donner des exemples d'enregistrements?
  • mise à jour de ma question avec les noms de champs et les types de
InformationsquelleAutor user838437 | 2013-01-15
  1. 22

    La meilleure façon de supprimer les doublons sur plusieurs colonnes est la plus simple:

    Ajouter un index UNIQUE:

    ALTER IGNORE TABLE your_table ADD UNIQUE (field1,field2,field3);

    L'IGNORER ci-dessus permet de s'assurer que seul le premier trouvé ligne est conservée, le reste rejeté.

    (Vous pourrez ensuite déposer l'indice si vous avez besoin d'avenir des doublons et/ou de savoir qu'ils ne se reproduira pas).

    • donne erreur de syntaxe 🙁
    • BEAUCOUP plus facile que de sous-requêtes corrélées.
    • MySQL 5.7.4, le IGNORER la clause de l'instruction ALTER TABLE est supprimée et son utilisation génère une erreur.
    • est-il une solution?
    • dans mysql 5.5 il y a un bug qui peut être présent. utilisation set old_alter_table=1 voir docs sur: dev.mysql.com/doc/refman/5.5/en/alter-table.html en Raison d'un bug lié à la Rapide Création de l'Index (Bogue #40344), ALTER IGNORER TABLE ... AJOUTER un INDEX UNIQUE ne permet pas de supprimer les lignes en double. L'IGNORER le mot clé est ignoré. Si tous les doublons de lignes existent, l'opération échoue avec une entrée Double erreur. Une solution de contournement consiste à définir old_alter_table=1 avant de lancer un ALTER IGNORER TABLE ... AJOUTER un INDEX UNIQUE déclaration.
    • Comment cela fonctionne si je veux modifier une colonne de la première. Par exemple, cela ne fonctionne pas: ALTER IGNORE TABLE mytable ADD UNIQUE (FROM_UNIXTIME(CEIL(UNIX_TIMESTAMP(timestamp) / 5) * 5), id2)

    InformationsquelleAutor guidod
  2. 6

    Cela fonctionne parfaitement dans n'importe quelle version de MySQL y compris 5.7+. Il gère aussi l'erreur You can't specify target table 'my_table' for update in FROM clause à l'aide d'un double-sous-requête imbriquée. Il ne fait que supprimer UNE ligne en double (au plus tard) donc si vous avez 3 ou plus de doublons, vous pouvez exécuter la requête plusieurs fois. Il jamais supprime les lignes uniques.

    DELETE FROM my_table
WHERE id IN (
  SELECT calc_id FROM (
    SELECT MAX(id) AS calc_id
    FROM my_table
    GROUP BY identField1, identField2
    HAVING COUNT(id) > 1
  ) temp
)

    J'avais besoin de cette requête parce que je voulais ajouter un index UNIQUE sur deux colonnes, mais il y avait quelques lignes en double que j'avais besoin de jeter la première.

    • You can't specify target table 'table' for update in FROM clause
    • Il fonctionne depuis le WHERE clause utilise double de nidification. C'est la magie que des astuces de la base de données MySQL moteur en permettant à cette requête sans créer de conflit.
    InformationsquelleAutor LStarky
  3. 4

    Vous devez d'abord trouver votre duplicata par le groupement sur les deux champs avec une clause having.

        Select identField1, identField2, count(*) FROM yourTable
        GROUP BY identField1, identField2
          HAVING count(*) >1

    Si cela renvoie ce que vous voulez, vous pouvez ensuite l'utiliser comme une sous-requête et 

      DELETE FROM yourTable WHERE field in (Select identField1, identField2, count(*) FROM yourTable
        GROUP BY identField1, identField2
          HAVING count(*) >1 )
    • Sera-ce de conserver l'un des doublons de lignes? (Je tiens à garder un, de ne pas supprimer toute ligne qui a un doublon)
    • Il va supprimer tous les doublons. Si vous voulez garder un, vous pouvez sélectionner une valeur maximale ou minimale d'un champ vous n'êtes pas sur l'agrégation. Un rapide google est en place stackoverflow.com/questions/3777633/... qui a également des liens vers d'autres questions identiques.
    • Que faire si la table a seulement 2 colonnes et les deux colonnes sont regroupées, comment puis-je empêcher la suppression de tous les doublons?
    InformationsquelleAutor Scotch
  4. 2

    REMARQUE: Cette solution est une alternative & old school solution.

    Si vous ne pouvait pas obtenir ce que tu voulais, alors vous pouvez essayer de mon "oldschool" méthode:

    Tout d'abord, exécutez cette requête pour obtenir les enregistrements en double:

    select   column1,
         column2,
         count(*)
from     table
group by column1,
         column2
having   count(*) > 1
order by count(*) desc

    Après cela, sélectionnez-les résultats et de les coller dans notepad++:

    Trouver et supprimer les doublons de lignes par deux colonnes
    Trouver et supprimer les doublons de lignes par deux colonnes

    Maintenant à l'aide de la rechercher et remplacer spécialité de notepad++ remplacer avec; première "supprimer", puis sur "insérer" des requêtes comme ceci (à partir de maintenant, pour des raisons de sécurité, mes valeurs seront AAAA).

    Note spéciale: Veuillez effectuer une autre nouvelle ligne pour la fin de la dernière ligne de vos données à l'intérieur de notepad++ car regex correspondait à l' '\r\n' à la fin de chaque ligne:

    Trouver et supprimer les doublons de lignes par deux colonnes

    Trouver ce regex: \D*(\d+)\D*(\d+)\D*\r\n

    Remplacer avec de la ficelle: delete from table where column1 = $1 and column2 = $2; insert into table set column1 = $1, column2 = $2;\r\n

    Enfin, maintenant, collez ces requêtes à MySQL Workbench, de la requête de la console et de les exécuter. Vous verrez qu'une occurrences de chaque enregistrement en double.

    Trouver et supprimer les doublons de lignes par deux colonnes

    Cette réponse, c'est pour une table de relation construite de deux colonnes sans IDENTIFIANT. Je pense que vous pouvez appliquer à votre situation.

    InformationsquelleAutor Bahadir Tasdemir
  5. 1

    vous pouvez toujours obtenir la primaire ids par le regroupement de deux champs uniques

    select count(*), id as count from table group by col a, col b having count(*)>1;

    et puis

    delete from table where id in ( select count(*), id as count from table group by col a, col b having count(*)>1) limit maxlimit;

    vous pouvez également utiliser max() en place de limit

    • quelle est la limite maxlimit faire?
    • que désigne le nombre de doublons de lignes que vous souhaitez supprimer
    • vous ne pouvez pas utiliser la même table pour la requête imbriquée et la suppression de la requête.
    InformationsquelleAutor Sudhanshu Jain
  6. 1

    Pour Mysql:

    SUPPRIMER t1 DE yourtable t1 INNER JOIN yourtable t2 where t1.id < t2.id ET t1.identField1= t2.identField1 et t1.identField2= t2.identField2;

    • certainement travaillé pour moi!
    InformationsquelleAutor Shashikant Sharma