impdp異常中斷導緻的問題

今天檢視資料庫的負載，發現cpu消耗異常的高。裡面有不少dw的程序.但是檢視impdp的程序卻不存在。

檢視datapump的程序情況，發現大量的job，但是狀态都是not running.

select * from dba_datapump_jobs where owner_name='MIG_TEST';

SYS_IMPORT_TABLE_01 

SYS_IMPORT_TABLE_02 

SYS_IMPORT_TABLE_03 

SYS_IMPORT_TABLE_04 

SYS_IMPORT_TABLE_05 

SYS_IMPORT_TABLE_06 

SYS_IMPORT_TABLE_07 

SYS_IMPORT_TABLE_08 

SYS_IMPORT_TABLE_09 

SYS_IMPORT_TABLE_10 

SYS_IMPORT_TABLE_12 

SYS_IMPORT_TABLE_13 

SYS_IMPORT_TABLE_14 

SYS_IMPORT_TABLE_15 

SYS_IMPORT_TABLE_16 

SYS_IMPORT_TABLE_17 

SYS_IMPORT_TABLE_18 

SYS_IMPORT_TABLE_20 

SYS_IMPORT_TABLE_21 

SYS_IMPORT_TABLE_23 

SYS_IMPORT_TABLE_24 

SYS_IMPORT_TABLE_25 

SYS_IMPORT_TABLE_26 

SYS_IMPORT_TABLE_28 

。。。。

檢視資料庫的session情況，發現有一個臨時測試使用者下有120多個session.這個環境平時沒有人用，不會有那麼多的session.

沒有impdp的任務，檢視那個臨時使用者，發現下面有很多SYS_IMPORT_TABLE_xx的表，ETxxx, ERRxxx的表。這些表都是datapump在資料導入的時候建立的臨時表。

ERR的表類似下面的形式。

ERR$DP13FC20810001

ERR$DP16F10AF10001

ERR$DP1AA200C30001

ERR$DP1C125B790001

ERR$DP1C1B86AF0001

ET的表類似下面的形式。

ET$000D0F650001

ET$00C11B410001

ET$024502130001

ET$02FBAF530001

ET$02FE249B0001

ET$03B551550001

ET$03BE47230001

ET$05312FFF0001

ET$05380F350001

ET$05F70DAD0001

檢視裡面的内容也是被禁止的。

SQL> select *from ET$1B5C6DCF0001;

ERROR:

ORA-29913: error in executing ODCIEXTTABLEOPEN callout

KUP-11024: This external table can only be accessed from within a Data Pump

job.

既然沒有對應的impdp的任務來跑，那些session也就是在空跑了。

和同僚确認了下，這個測試中的資料任務執行時間太長，就被删除了程序。沒想到殺掉impdp的程序，對應的parallel process還是存在，

把一張分區表分成了100份，每一份包含一些分區的資料，這樣并行4個，下來就有120個左右的session了，

他們使用的腳本類似下面的形式。

nohup  impdp xxxx/xxxx directory=memo_dir dumpfile=par1_xxxxxxxx.dmp parallel=2 include=table_data logfile=par1_xxxxxxxx_impdp.log parfile=xxxxxxxx_partition_parallel_1.par_impdp TABLE_EXISTS_ACTION=append REMAP_SCHEMA=prdappo:MIG_TEST DATA_OPTIONS=SKIP_CONSTRAINT_ERRORS   &

nohup  impdp xxxx/xxxx directory=memo_dir dumpfile=par2_xxxxxxxx.dmp parallel=2 include=table_data logfile=par2_xxxxxxxx_impdp.log parfile=xxxxxxxx_partition_parallel_2.par_impdp TABLE_EXISTS_ACTION=append REMAP_SCHEMA=prdappo:MIG_TEST DATA_OPTIONS=SKIP_CONSTRAINT_ERRORS   &

nohup  impdp xxxx/xxxx directory=memo_dir dumpfile=par3_xxxxxxxx.dmp parallel=2 include=table_data logfile=par3_xxxxxxxx_impdp.log parfile=xxxxxxxx_partition_parallel_3.par_impdp TABLE_EXISTS_ACTION=append REMAP_SCHEMA=prdappo:MIG_TEST DATA_OPTIONS=SKIP_CONSTRAINT_ERRORS   &

nohup  impdp xxxx/xxxx directory=memo_dir dumpfile=par4_xxxxxxxx.dmp parallel=2 include=table_data logfile=par4_xxxxxxxx_impdp.log parfile=xxxxxxxx_partition_parallel_4.par_impdp TABLE_EXISTS_ACTION=append REMAP_SCHEMA=prdappo:MIG_TEST DATA_OPTIONS=SKIP_CONSTRAINT_ERRORS   &

nohup  impdp xxxx/xxxx directory=memo_dir dumpfile=par5_xxxxxxxx.dmp parallel=2 include=table_data logfile=par5_xxxxxxxx_impdp.log parfile=xxxxxxxx_partition_parallel_5.par_impdp TABLE_EXISTS_ACTION=append REMAP_SCHEMA=prdappo:MIG_TEST DATA_OPTIONS=SKIP_CONSTRAINT_ERRORS   &

确認了下，準備删除session。可以使用如下的sql來查找對應的session，确認後删除。

select 'alter system kill session '||chr(39)||sid||','||serial#||chr(39) ||';' from v$session where username='MIG_TEST';

嘗試使用attach來手工停掉job.但是對應的process還是沒有停掉。

> impdp mig_test/mig_test attach=SYS_IMPORT_TABLE_02

Import: Release 11.2.0.2.0 - Production on Wed Jun 18 19:08:05 2014

Copyright (c) 1982, 2009, Oracle and/or its affiliates.  All rights reserved.

Connected to: Oracle Database 11g Enterprise Edition Release 11.2.0.2.0 - 64bit Production

With the Partitioning, OLAP, Data Mining and Real Application Testing options

Job: SYS_IMPORT_TABLE_02

  Owner: MIG_TEST                       

  Operation: IMPORT                         

  Creator Privs: FALSE                          

  GUID: FC1B7F5BBC97829EE040007F01004205

  Start Time: Wednesday, 18 June, 2014 19:08:20

  Mode: TABLE                          

  Instance: PETCUS1

  Max Parallelism: 4

  EXPORT Job Parameters:

     CLIENT_COMMAND        xxxxx/******** directory=memo_dir dumpfile=par10_mo1_memo.dmp logfile=par10_mo1_memo_expdp.log parfile=mo1_memo_partition_parallel_10.par_imp exclude=statistics,constraint,ref_constraint,index,comment,grant 

  IMPORT Job Parameters:

  Parameter Name      Parameter Value:

     CLIENT_COMMAND        mig_test/******** directory=memo_dir dumpfile=par10_mo1_memo.dmp parallel=4 logfile=par10_mo1_memo_impdp.log parfile=mo1_memo_partition_parallel_10.par_impdp TABLE_EXISTS_ACTION=append REMAP_SCHEMA=prdappo:MIG_TEST DATA_OPTIONS=SKIP_CONSTRAINT_ERRORS 

     DATA_OPTIONS          1

     TABLE_EXISTS_ACTION   APPEND                                  

  State: IDLING                         

  Bytes Processed: 0

  Current Parallelism: 4

  Job Error Count: 0

  Dump File: /dbccbsPT1/oracle/PETCUS1/archive/memo_test/par10_mo1_memo.dmp

Worker 1 Status:

  Process Name: DW1H

  State: UNDEFINED                      

  Object Schema: MIG_TEST

  Object Name: MO1_MEMO

  Object Type: TABLE_EXPORT/TABLE/TABLE_DATA

  Completed Objects: 1

  Total Objects: 10

  Completed Bytes: 305,547,744

  Worker Parallelism: 1

Worker 2 Status:

  Process Name: DW1J

Worker 3 Status:

  Process Name: DW1I

Worker 4 Status:

  Process Name: DW1C

Import> stop

Are you sure you wish to stop this job ([yes]/no): yes

嘗試使用kiill選項，直接hang住了。

但是檢視主機的cpu消耗，還是異常的高。對應的并行session對應的程序還是在，而且消耗了大量的資源。

最後嘗試删除對應的et,err,export臨時表。删除後，對應的dw process就消失了。

删除

drop table "ET$0ECF04B90001";  

drop table "ET$0F8D29250001";  

drop table "ET$104D1D5D0001";  

drop table "ET$133B1CDD0001";  

drop table "ET$13FC20810001";  

drop table "ET$16F10AF10001";  

drop table "ET$1AA200C30001";  

drop table "ET$1C125B790001";  

drop table SYS_IMPORT_TABLE_21   ;

drop table SYS_IMPORT_TABLE_23   ;

drop table SYS_IMPORT_TABLE_24   ;

drop table SYS_IMPORT_TABLE_25   ;

drop table SYS_IMPORT_TABLE_26   ;

drop table SYS_IMPORT_TABLE_28   ;

總結這個問題，可能和datapump開了并行也有一定的關系。對應datapump的并行根據我的測試，并沒有想象中那麼好。