SQL数据去重

1、查找表中多余的重复记录，重复记录是根据单个字段（peopleId）来判断

select * from people

where peopleId in (select peopleId from people group by peopleId having count(peopleId) > 1)

2、删除表中多余的重复记录，重复记录是根据单个字段（peopleId）来判断，只留有rowid最小的记录

delete from people

where   peopleName in (select peopleName    from people group by peopleName      having count(peopleName) > 1)

and   peopleId not in (select min(peopleId) from people group by peopleName     having count(peopleName)>1)

3、查找表中多余的重复记录（多个字段）

select * from vitae a

where (a.peopleId,a.seq) in (select peopleId,seq from vitae group by peopleId,seq having count(*) > 1)

4、删除表中多余的重复记录（多个字段），只留有rowid最小的记录

delete from vitae a

where (a.peopleId,a.seq) in (select peopleId,seq from vitae group by peopleId,seq having count(*) > 1)

and rowid not in (select min(rowid) from vitae group by peopleId,seq having count(*)>1)

5、查找表中多余的重复记录（多个字段），不包含rowid最小的记录

select * from vitae a

where (a.peopleId,a.seq) in (select peopleId,seq from vitae group by peopleId,seq having count(*) > 1)

and rowid not in (select min(rowid) from vitae group by peopleId,seq having count(*)>1)   

6.消除一个字段的左边的第一位：

update tableName set [Title]=Right([Title],(len([Title])-1)) where Title like '村%'

7.消除一个字段的右边的第一位：

update tableName set [Title]=left([Title],(len([Title])-1)) where Title like '%村'

8.假删除表中多余的重复记录（多个字段），不包含rowid最小的记录

update vitae set ispass=-1

where peopleId in (select peopleId from vitae group by peopleId,seq having count(*) > 1) and seq in （select seq from vitae group by peopleId,seq having count(*) > 1）

and rowid not in (select min(rowid) from vitae group by peopleId,seq having count(*)>1)

9、完全重复数据去重方法

　　对于表中完全重复数据去重，可以采用以下SQL语句。

　　Code

　　CREATE TABLE"#temp"AS (SELECT DISTINCT * FROM 表名);--创建临时表，并把DISTINCT 去重后的数据插入到临时表中

　　truncate TABLE 表名;--清空原表数据

　　INSERT INTO 表名(SELECT * FROM"#temp");--将临时表数据插入到原表中

　　DROP TABLE"#temp";--删除临时表

　　具体思路是，首先创建一个临时表，然后将DISTINCT之后的表数据插入到这个临时表中;然后清空原表数据;再讲临时表中的数据插入到原表中;最后删除临时表。

10、部分数据去重方法

　　首先查找重复数据

　　select 字段1,字段2,count(*) from 表名 groupby 字段1,字段2 having count(*) > 1

　　将上面的>号改为=号就可以查询出没有重复的数据了。

　　想要删除这些重复的数据，可以使用下面语句进行删除：

　　deletefrom 表名 a where 字段1,字段2 in

　　(select 字段1,字段2,count(*) from 表名 groupby 字段1,字段2 having count(*) > 1)

　　上面的语句非常简单，就是将查询到的数据删除掉。不过这种删除执行的效率非常低，对于大数据量来说，可能会将数据库卡死。

　　基于上述情况，可以先将查询到的重复的数据插入到一个临时表中，然后对进行删除，这样，执行删除的时候就不用再进行一次查询了。如下：

　　CREATETABLE 临时表 AS

　　(select 字段1,字段2,count(*) from 表名 groupby 字段1,字段2 having count(*) > 1)

　　下面就可以进行这样的删除操作了：

　　deletefrom 表名 a where 字段1,字段2 in (select 字段1，字段2 from 临时表);

　　先建临时表再进行删除的操作要比直接用一条语句进行删除要高效得多。

　　上面的语句会把所有重复的全都删除，在oracle中，有个隐藏了自动rowid，里面给每条记录一个唯一的rowid，我们如果想保留最新的一条记录，我们就可以利用这个字段，保留重复数据中rowid最大的一条记录就可以了。

　　下面是查询重复数据的一个例子：

　　select a.rowid,a.* from 表名 a

　　where a.rowid !=

　　(

　　selectmax(b.rowid) from 表名 b

　　where a.字段1 = b.字段1 and

　　a.字段2 = b.字段2

　　)

　　上面括号中的语句是查询出重复数据中rowid最大的一条记录。而外面就是查询出除了rowid最大之外的其他重复的数据了。

　　由此，我们要删除重复数据，只保留最新的一条数据，就可以这样写了：

　　delete from 表名 a

　　where a.rowid !=

　　(

　　select max(b.rowid) from 表名 b

　　where a.字段1 = b.字段1 and

　　a.字段2 = b.字段2

　　)

　　同理，上述代码的执行效率毕竟低，所以我们可以考虑建立临时表，将需要判断重复的字段、rowid插入临时表中，然后删除的时候在进行比较。

　　create table 临时表 as

　　select a.字段1,a.字段2,MAX(a.ROWID) dataid from 正式表 a GROUPBY a.字段1,a.字段2;

　　delete from 表名 a

　　where a.rowid !=

　　(

　　select b.dataid from 临时表 b

　　where a.字段1 = b.字段1 and

　　a.字段2 = b.字段2

　　);

　　commit;