天天看点

oracle海量数据表删除重复记录

从网上下载的解决方案如下

删除的几种方法:

(1)通过建立临时表来实现

SQL>create table temp_emp as (select distinct * from employee) 

SQL> truncate table employee; (清空employee表的数据)

SQL> insert into employee select * from temp_emp;  (再将临时表里的内容插回来)

( 2)通过唯一rowid实现删除重复记录.在Oracle中,每一条记录都有一个rowid,rowid在整个数据库中是唯一的,rowid确定了每条记录是在Oracle中的哪一个数据文件、块、行上。在重复的记录中,可能所有列的内容都相同,但rowid不会相同,所以只要确定出重复记录中那些具有最大或最小rowid的就可以了,其余全部删除。

SQL>delete from employee e2 where rowid not in (

        select max(e1.rowid) from employee e1 where

        e1.emp_id=e2.emp_id and e1.emp_name=e2.emp_name and e1.salary=e2.salary);--这里用min(rowid)也可以。

SQL>delete from employee e2 where rowid <(

        select max(e1.rowid) from employee e1 where

        e1.emp_id=e2.emp_id and e1.emp_name=e2.emp_name and

                  e1.salary=e2.salary);

(3)也是通过rowid,但效率更高。

SQL>delete from employee where rowid not in (

        select max(t1.rowid) from employee t1 group by

         t1.emp_id,t1.emp_name,t1.salary);--这里用min(rowid)也可以。

本文来自CSDN博客,转载请标明出处:http://blog.csdn.net/blueshine2/archive/2009/03/28/4032691.aspx

第一种方案涉及到对表的删改,相信大多数人不会轻易尝试;

第二种方案经过验证,如果条件很多,通过rowid作删除操作的效率也不是很高,特别是使用了group by …having 后,效率会大大降低,故应尽量避免