ORACLE rac 11.2.0.4 for rhel7.8 upgrade to 19.11.1 報錯ORA-29516處理

      近期，在ORACLE rac 11.2.0.4  for rhel7.8  upgrade to 19.11.1過程中，在dbua之前的preupgrade預檢查中遇到報到錯ORA-29516，相關報錯的處理很簡單，但是問題的原因和排查不太容易。

      背景：将被更新的環境作業系統為rhel 7.8，Oracle GI版本是19.11.1，DB版本是11.2.0.4，GI和DB都應用過部分PSU更新檔。但是，由于人員流動，待被更新的資料庫DB的來源不太明确，就是說11.2.0.4是新裝的，還是遷移過來及其遷移方式不明确。

      問題描述：待更新系統進行preupgrade檢查（即對待更新DB進行preupgrade.jar）時，有ORA報錯資訊，具體報錯資訊：select dbms_java.longname('foo') "JAVAVM TESTING" from dual

       *

ERROR at line 1:

ORA-29516: Aurora assertion failure: Assertion failure at jol.c:11157

joez mt-index botch; mt_index = 65535, vtbl_len = 12, static_len = 2

ORA-06512: at "SYS.DBMS_JAVA", line 139

根據oracle MOS官方文檔1191471.1提示修改JAVA_JIT_ENABLED參數，但是處理後預檢查報錯資訊依舊。同時，在ORACLE MOS官網提的case也隻是讓排查jvm的狀态，并沒有有效的處理方法。然而，前期的手工檢查DB的PSU資訊是：

ACTION_TIME                    ACTION          NAMESPACE  VERSION                         ID BUNDLE_SERIES   COMMENTS

------------------------------ --------------- ---------- ----------------------- ---------- --------------- ------------------------------------------------------------

17-MAR-17 05.01.00.921809 PM   APPLY           SERVER     11.2.0.4                    160119 PSU           PSU 11.2.0.4.160119

18-OCT-19 09.46.12.556809 PM   APPLY           SERVER     11.2.0.4                    190115 PSU           PSU 11.2.0.4.190115

18-OCT-19 10.33.34.679617 PM   jvmpsu.sql      SERVER     11.2.0.4.190115OJVMPSU           0      RAN jvmpsu.sql

18-OCT-19 10.33.35.069216 PM   APPLY           SERVER     11.2.0.4.180417OJVMPSU           0      OJVM PSU post-install

18-OCT-19 10.33.35.072159 PM   APPLY                                                28790660      Patch 28790660 applied

    ​    問題分析：根據DB應用的更新檔分析，DB執行個體應用了160119和190115的PSU，并且190115中的180417和更新檔28790660均會對jvm操作，懷疑可能是190115的PSU更新檔應用有問題，計劃回退190115。如果要回退190115 PSU更新檔集，則需要先回退28790660，回退該更新檔需要執行$ORACLE_HOME/sqlpatch/2870660/deinstall.sql，但是發現deinstall.sql所在路徑并不存在。對比前期預檢查中的opatch lspatches資訊發現資料庫軟體和資料庫執行個體應用的更新檔集不一緻：

​ $ORACLE_HOME/OPatch/opatch lspatches

29141056;Database Patch Set Update : 11.2.0.4.190416 (29141056)

29141201;OCW Patch Set Update : 11.2.0.4.190416 (29141201)

OPatch succeeded.

到此問題基本明确：問題資料庫使用rman備份恢複遷移的并且遷移之前應用190115PSU更新檔，但是新環境中的資料庫軟體并沒有按照190115更新檔集，而且PSU更新檔已經應用到190416。

    ​    問題處理：對問題資料庫，在資料庫軟體層次應用190115更新檔，再次進行11.2.0.4 rac for rhel7.8更新到19c rac的preupgrade.jar時，不再有ORA-29516資訊提示，并且成功更新至19.11.1。