Kopieren von Daten von Amazon S3, um die Rotverschiebung und vermeiden Sie doppelte Zeilen

Als user1045047 erwähnt, Amazon Redshift unterstützen nicht, unique-Einschränkungen, also ich war auf der Suche nach der Möglichkeit zum löschen von doppelten Datensätzen aus einer Tabelle mit einem delete-Anweisung.
Schließlich fand ich heraus, ein vernünftiger Weg.

Amazon Redshift unterstützt das erstellen einer IDENTITY-Spalte gespeichert ist, eine automatisch generierte, eindeutige Nummer.
http://docs.aws.amazon.com/redshift/latest/dg/r_CREATE_TABLE_NEW.html

Den folgenden sql für PostgreSQL zu löschen doppelte Datensätze mit der OID ist eine eindeutige Spalte, und Sie können diese sql durch den Austausch OID mit der identity-Spalte.

DELETE FROM duplicated_table WHERE OID > (
　SELECT MIN(OID) FROM duplicated_table d2
　　WHERE column1 = d2.dupl_column1
　　AND column2 = d2.column2
);

Hier ist ein Beispiel, getestet habe ich auf mein Amazon Redshift-cluster.

create table auto_id_table (auto_id int IDENTITY, name varchar, age int);

insert into auto_id_table (name, age) values('John', 18);
insert into auto_id_table (name, age) values('John', 18);
insert into auto_id_table (name, age) values('John', 18);
insert into auto_id_table (name, age) values('John', 18);
insert into auto_id_table (name, age) values('John', 18);
insert into auto_id_table (name, age) values('Bob', 20);
insert into auto_id_table (name, age) values('Bob', 20);  
insert into auto_id_table (name, age) values('Matt', 24); 

select * from auto_id_table order by auto_id; 
 auto_id | name | age 
---------+------+-----
       1 | John |  18
       2 | John |  18
       3 | John |  18
       4 | John |  18
       5 | John |  18
       6 | Bob  |  20
       7 | Bob  |  20
       8 | Matt |  24    
(8 rows) 

delete from auto_id_table where auto_id > (
  select min(auto_id) from auto_id_table d
    where auto_id_table.name = d.name
    and auto_id_table.age = d.age
);

select * from auto_id_table order by auto_id;
 auto_id | name | age 
---------+------+-----
       1 | John |  18
       6 | Bob  |  20
       8 | Matt |  24
(3 rows)

Außerdem funktioniert es mit dem KOPIEREN-Befehl wie diesen.

• auto_id_table.csv -

  John,18
  Bob,20
  Matt,24
  

• kopieren der sql

  copy auto_id_table (name, age) from '[s3-path]/auto_id_table.csv' CREDENTIALS 'aws_access_key_id=[your-aws-key-id] ;aws_secret_access_key=[your-aws-secret-key]' delimiter ','; 
  

Der Vorteil dieser Möglichkeit ist, dass Sie nicht brauchen, um ausführen von DDL-Anweisungen. Aber es funktioniert nicht mit vorhandenen Tabellen, die nicht über eine identity-Spalte, da eine identity-Spalte kann nicht Hinzugefügt werden, um eine vorhandene Tabelle. Der einzige Weg, um löschen Sie doppelte Datensätze mit vorhandenen Tabellen ist die Migration sämtlicher Datensätze wie diese. (gleiche wie user1045047 Antwort)

insert into temp_table (select distinct from original_table);
drop table original_table;
alter table temp_table rename to original_table;

Derzeit gibt es keine Möglichkeit, Duplikate entfernen von Rotverschiebung. Rotverschiebung nicht unterstützt, primary key/unique key constraints, und auch das entfernen von Duplikaten mit Hilfe von Zeilennummern ist nicht eine option (löschen von Zeilen mit Zeilen-Zahl größer als 1) als die delete-operation auf die Rotverschiebung nicht erlaubt komplexe Aussagen (Auch das Konzept der Zeilennummer nicht vorhanden in Rotverschiebung).

Der beste Weg, um Duplikate entfernen ist das erstellen eines cron/Quarz-job, würden Sie alle eindeutigen Zeilen, steckte Sie in einer separaten Tabelle und benennen Sie die Tabelle mit Ihrer ursprünglichen Tabelle.

Insert into temp_originalTable (Select Distinct from originalTable)

Drop table originalTable

Alter table temp_originalTable rename to originalTable