Copier des données à partir d'Amazon S3 pour Redshift et d'éviter les doublons

Comme user1045047 mentionné, Amazon Redshift ne prend pas en charge les contraintes unique, donc je cherche le moyen de supprimer les doublons d'une table avec une instruction delete.
Enfin, j'ai trouvé un moyen raisonnable.

Amazon Redshift prend en charge la création d'une colonne d'IDENTITÉ qui est stocké dans une auto-généré numéro unique.
http://docs.aws.amazon.com/redshift/latest/dg/r_CREATE_TABLE_NEW.html

Le sql suivant est pour PostgreSQL pour supprimer des enregistrements dupliqués avec OID c'est-à colonne unique, et vous pouvez l'utiliser sql par le remplacement de l'OID avec la colonne d'identité.

DELETE FROM duplicated_table WHERE OID > (
　SELECT MIN(OID) FROM duplicated_table d2
　　WHERE column1 = d2.dupl_column1
　　AND column2 = d2.column2
);

Voici un exemple que j'ai testé sur mon Amazon Redshift cluster.

create table auto_id_table (auto_id int IDENTITY, name varchar, age int);

insert into auto_id_table (name, age) values('John', 18);
insert into auto_id_table (name, age) values('John', 18);
insert into auto_id_table (name, age) values('John', 18);
insert into auto_id_table (name, age) values('John', 18);
insert into auto_id_table (name, age) values('John', 18);
insert into auto_id_table (name, age) values('Bob', 20);
insert into auto_id_table (name, age) values('Bob', 20);  
insert into auto_id_table (name, age) values('Matt', 24); 

select * from auto_id_table order by auto_id; 
 auto_id | name | age 
---------+------+-----
       1 | John |  18
       2 | John |  18
       3 | John |  18
       4 | John |  18
       5 | John |  18
       6 | Bob  |  20
       7 | Bob  |  20
       8 | Matt |  24    
(8 rows) 

delete from auto_id_table where auto_id > (
  select min(auto_id) from auto_id_table d
    where auto_id_table.name = d.name
    and auto_id_table.age = d.age
);

select * from auto_id_table order by auto_id;
 auto_id | name | age 
---------+------+-----
       1 | John |  18
       6 | Bob  |  20
       8 | Matt |  24
(3 rows)

Aussi il fonctionne avec la commande de COPIE de ce genre.

• auto_id_table.csv

  John,18
  Bob,20
  Matt,24
  

• copie sql

  copy auto_id_table (name, age) from '[s3-path]/auto_id_table.csv' CREDENTIALS 'aws_access_key_id=[your-aws-key-id] ;aws_secret_access_key=[your-aws-secret-key]' delimiter ','; 
  

L'avantage de cette voie est que vous n'avez pas besoin d'exécuter des instructions DDL. Cependant il ne fonctionne pas avec les tables existantes qui n'ont pas une colonne d'identité en raison d'une colonne d'identité ne peut pas être ajouté à une table existante. La seule façon de supprimer des enregistrements dupliqués avec des tables existantes est la migration de tous les dossiers de ce genre. (même que user1045047 réponse)

insert into temp_table (select distinct from original_table);
drop table original_table;
alter table temp_table rename to original_table;

OriginalL'auteur Masashi Miyazaki

Actuellement, il n'existe aucun moyen de supprimer les doublons de redshift. Redshift ne supporte pas de clé primaire/clé unique contraintes, et aussi à supprimer les doublons en utilisant le numéro de ligne n'est pas une option (suppression de lignes avec une ligne nombre plus grand que 1) l'opération de suppression sur redshift ne permet pas d'instructions complexes (Également le concept de numéro de ligne n'est pas présente dans le redshift).

Le meilleur moyen de supprimer les doublons est d'écrire un cron/quartz de travail qui permettrait de sélectionner toutes les lignes distinctes, les mettre dans une table séparée et puis renommez la table à votre table d'origine.

Insert into temp_originalTable (Select Distinct from originalTable)

Drop table originalTable

Alter table temp_originalTable rename to originalTable

OriginalL'auteur user1045047