Trouver les doublons avec PostgreSQL

Nous avons un tableau de photos avec les colonnes suivantes: 

id, merchant_id, url

cette table contient les valeurs en double pour la combinaison merchant_id, url. il est donc possible qu'une seule ligne apparaît plus à plusieurs reprises. 

234 some_merchant  http://www.some-image-url.com/abscde1213
235 some_merchant  http://www.some-image-url.com/abscde1213
236 some_merchant  http://www.some-image-url.com/abscde1213

Quelle est la meilleure façon de supprimer ces doublons?
(J'utilise PostgreSQL 9.2 et Rails 3.)

  • Est votre colonne d'ID uniques? Je vois 234 3 fois, mais vous dire que votre merchant_sign et l'url sont des valeurs en double.
  • Double Possible de stackoverflow.com/questions/1746213/...
  • désolé pour la confusion. l'id dans l'exemple ci-dessus doit être unique. merci pour la bonne édition. la solution ici stackoverflow.com/questions/1746213/... ne fonctionne pas pour mon cas.
InformationsquelleAutor Stefan Schmidt | 2013-01-23
  1. 115

    Voici mon prendre sur elle. 

    select * from (
  SELECT id,
  ROW_NUMBER() OVER(PARTITION BY merchant_Id, url ORDER BY id asc) AS Row
  FROM Photos
) dups
where 
dups.Row > 1

    N'hésitez pas à jouer avec la commande par d'adapter les enregistrements que vous souhaitez supprimer de votre cahier des charges.

    SQL Violon => http://sqlfiddle.com/#!15/d6941/1/0

    SQL Violon pour Postgresql 9.2 n'est plus pris en charge; la mise à jour de SQL Violon pour postgresql 9.3

    • Cela fonctionne comme un charme mais comment voulez-vous supprimer les doublons trouvés à l'aide de cette requête ?
    • Veuillez être prudent sqlfiddle.com/#!12/796d6/133
    • Si nous avons la même chose en répétant 3 fois, le 2 et prendre 3 est pris en résultat. Comment puis-je le résoudre?
    • C'est un peu confus au sujet de ce que vous essayez de le faire; la réponse montre, à l'aide de sql violon lien, comment faire pour supprimer des lignes en fonction de colonnes définies. Vous devriez ouvrir une nouvelle question avec des mesures spécifiques pour se reproduire.
    • Pourriez-vous expliquer ce qu'il est en train de faire par ROW_NUMBER() OVER(PARTITION BY merchant_Id, url ORDER BY id asc)
    • ne ce supprimer tous les enregistrements avec le double de l'id? Je pense que de l'OP veut garder un enregistrement dans
    • Non ça va pas, c'est précisément la raison pour laquelle vous vérifiez les lignes > 1. Voir le sql de violon.

    InformationsquelleAutor MatthewJ
  2. 9

    La deuxième partie de sgeddes réponse ne fonctionne pas sur Postgres (le violon utilise MySQL). Voici une version mise à jour de sa réponse à l'aide de Postgres: http://sqlfiddle.com/#!12/6b1a7/1

    DELETE FROM Photos AS P1  
USING Photos AS P2
WHERE P1.id > P2.id
   AND P1.merchant_id = P2.merchant_id  
   AND P1.url = P2.url;
    InformationsquelleAutor 11101101b
  3. 6

    Je vois un couple d'options pour vous.

    Pour un moyen rapide de le faire, utiliser quelque chose comme ceci (il suppose que votre colonne ID n'est pas unique, comme vous le mentionnez 234 plusieurs fois ci-dessus):

    CREATE TABLE tmpPhotos AS SELECT DISTINCT * FROM Photos;
DROP TABLE Photos;
ALTER TABLE tmpPhotos RENAME TO Photos;

    Ici est la SQL Violon.

    Vous devrez ajouter à vos contraintes retour à la table si vous en avez.

    Si votre colonne ID est unique, vous pourriez faire quelque chose comme de garder votre plus bas id:

    DELETE FROM P1  
USING Photos P1, Photos P2
WHERE P1.id > P2.id
   AND P1.merchant_id = P2.merchant_id  
   AND P1.url = P2.url;

    Et la Violon.

    • l'id est unique dans mon cas. J'ai mal dans mon exemple de code. mais j'obtiens une erreur si j'essaie d'utiliser votre deuxième solution. ERROR: relation "p1" does not exist
    • J'ai corrigé pour fonctionner sur Postgres au lieu de MySQL: sqlfiddle.com/#!12/6b1a7/1
    InformationsquelleAutor sgeddes