Oracle RAC Study之--Oracle 10g RAC 故障之--CRS启动失败

Oracle RAC Study之--Oracle 10g RAC 故障之--CRS启动失败

系统环境：

OS: linux EL5

CRS： CRS 10.2.0.1

Oracle：Oracle 10.2.0.1

1、crs 启动失败

[root@node2 ~]# crsctl check crs

1

2

3

<code>Failure </code><code>1</code> <code>contacting CSS daemon</code>

<code>Cannot communicate with CRS</code>

<code>Cannot communicate with EVM</code>

2、查看系统日志

[root@node2 ~]# tail /var/log/messages

4

5

6

7

8

9

10

<code>Nov  </code><code>2</code> <code>09</code><code>:</code><code>45</code><code>:</code><code>07</code> <code>node2 logger: Cluster Ready Services waiting </code><code>on</code> <code>dependencies. Diagnostics </code><code>in</code> <code>/tmp/crsctl</code><code>.2928.</code>

<code>Nov  </code><code>2</code> <code>09</code><code>:</code><code>46</code><code>:</code><code>07</code> <code>node2 logger: Cluster Ready Services waiting </code><code>on</code> <code>dependencies. Diagnostics </code><code>in</code> <code>/tmp/crsctl</code><code>.2962.</code>

<code>Nov  </code><code>2</code> <code>09</code><code>:</code><code>46</code><code>:</code><code>07</code> <code>node2 logger: Cluster Ready Services waiting </code><code>on</code> <code>dependencies. Diagnostics </code><code>in</code> <code>/tmp/crsctl</code><code>.3172.</code>

<code>Nov  </code><code>2</code> <code>09</code><code>:</code><code>46</code><code>:</code><code>07</code> <code>node2 logger: Cluster Ready Services waiting </code><code>on</code> <code>dependencies. Diagnostics </code><code>in</code> <code>/tmp/crsctl</code><code>.2928.</code>

<code>Nov  </code><code>2</code> <code>09</code><code>:</code><code>47</code><code>:</code><code>07</code> <code>node2 logger: Cluster Ready Services waiting </code><code>on</code> <code>dependencies. Diagnostics </code><code>in</code> <code>/tmp/crsctl</code><code>.2962.</code>

<code>Nov  </code><code>2</code> <code>09</code><code>:</code><code>47</code><code>:</code><code>07</code> <code>node2 logger: Cluster Ready Services waiting </code><code>on</code> <code>dependencies. Diagnostics </code><code>in</code> <code>/tmp/crsctl</code><code>.2928.</code>

<code>Nov  </code><code>2</code> <code>09</code><code>:</code><code>47</code><code>:</code><code>07</code> <code>node2 logger: Cluster Ready Services waiting </code><code>on</code> <code>dependencies. Diagnostics </code><code>in</code> <code>/tmp/crsctl</code><code>.3172.</code>

<code>Nov  </code><code>2</code> <code>09</code><code>:</code><code>48</code><code>:</code><code>07</code> <code>node2 logger: Cluster Ready Services waiting </code><code>on</code> <code>dependencies. Diagnostics </code><code>in</code> <code>/tmp/crsctl</code><code>.2962.</code>

<code>Nov  </code><code>2</code> <code>09</code><code>:</code><code>48</code><code>:</code><code>07</code> <code>node2 logger: Cluster Ready Services waiting </code><code>on</code> <code>dependencies. Diagnostics </code><code>in</code> <code>/tmp/crsctl</code><code>.2928.</code>

<code>Nov  </code><code>2</code> <code>09</code><code>:</code><code>48</code><code>:</code><code>07</code> <code>node2 logger: Cluster Ready Services waiting </code><code>on</code> <code>dependencies. Diagnostics </code><code>in</code> <code>/tmp/crsctl</code><code>.3172.</code>

[root@node2 ~]# cat /tmp/crsctl.3172

OCR initialization failed accessing OCR device: PROC-26: Error while accessing the physical storage Operating System error [Permission denied] [13]

[root@node2 ~]#

3、ocr 对应的裸设备权限出错

[root@node2 ~]# ls -l /dev/raw

total 0

crw------- 1 root root 162, 1 Nov  2 09:41 raw1

crw------- 1 root root 162, 2 Nov  2 09:41 raw2

4、修改raw 权限配置文件，系统启动时自动应用权限

[root@node2 ~]# cat /etc/udev/rules.d/65-raw-permissions.rules

# Set permissions of raw bindings to Oracle Clusterware devices

KERNEL=="raw1", OWNER="oracle", GROUP="dba", MODE="660"

KERNEL=="raw2", OWNER="oracle", GROUP="dba", MODE="660"

5、重新启动udev 服务

[root@node1 rules.d]# start_udev

Starting udev: [  OK  ]

[root@node1 rules.d]# ls -l /dev/raw

crw-rw---- 1 oracle dba 162, 1 Nov  2 09:55 raw1

crw-rw---- 1 oracle dba 162, 2 Nov  2 09:55 raw2

[root@node1 rules.d]#

6、重新启动crs ，系统正常

<code>[root@node2 ~]# crsctl stop crs</code>

<code>Stopping resources.</code>

<code>Successfully stopped CRS resources </code>

<code>Stopping CSSD.</code>

<code>Shutting down CSS daemon.</code>

<code>Shutdown request successfully issued.</code>

<code>[root@node2 ~]# crsctl start crs</code>

<code>Attempting to start CRS stack </code>

<code>The CRS stack will be started shortly</code>

<code>Nov  </code><code>2</code> <code>09</code><code>:</code><code>52</code><code>:</code><code>07</code> <code>node2 logger: Cluster Ready Services waiting </code><code>on</code> <code>dependencies. Diagnostics </code><code>in</code> <code>/tmp/crsctl</code><code>.2928.</code>

<code>Nov  </code><code>2</code> <code>09</code><code>:</code><code>52</code><code>:</code><code>08</code> <code>node2 logger: Cluster Ready Services waiting </code><code>on</code> <code>dependencies. Diagnostics </code><code>in</code> <code>/tmp/crsctl</code><code>.3172.</code>

<code>Nov  </code><code>2</code> <code>09</code><code>:</code><code>53</code><code>:</code><code>08</code> <code>node2 logger: Cluster Ready Services waiting </code><code>on</code> <code>dependencies. Diagnostics </code><code>in</code> <code>/tmp/crsctl</code><code>.2962.</code>

<code>Nov  </code><code>2</code> <code>09</code><code>:</code><code>53</code><code>:</code><code>08</code> <code>node2 logger: Cluster Ready Services waiting </code><code>on</code> <code>dependencies. Diagnostics </code><code>in</code> <code>/tmp/crsctl</code><code>.3172.</code>

<code>Nov  </code><code>2</code> <code>09</code><code>:</code><code>53</code><code>:</code><code>08</code> <code>node2 logger: Cluster Ready Services waiting </code><code>on</code> <code>dependencies. Diagnostics </code><code>in</code> <code>/tmp/crsctl</code><code>.2928.</code>

<code>Nov  </code><code>2</code> <code>09</code><code>:</code><code>54</code><code>:</code><code>10</code> <code>node2 logger: Cluster Ready Services completed waiting </code><code>on</code> <code>dependencies.</code>

<code>Nov  </code><code>2</code> <code>09</code><code>:</code><code>54</code><code>:</code><code>10</code> <code>node2 </code><code>last</code> <code>message repeated </code><code>2</code> <code>times</code>

<code>Nov  </code><code>2</code> <code>09</code><code>:</code><code>55</code><code>:</code><code>10</code> <code>node2 logger: Running CRSD </code><code>with</code> <code>TZ = </code>

<code>Nov  </code><code>2</code> <code>09</code><code>:</code><code>56</code><code>:</code><code>01</code> <code>node2 logger: Oracle CSSD graceful shutdown</code>

<code>Nov  </code><code>2</code> <code>09</code><code>:</code><code>56</code><code>:</code><code>32</code> <code>node2 logger: Cluster Ready Services completed waiting </code><code>on</code> <code>dependencies.</code>

<code>CSS appears healthy</code>

<code>CRS appears healthy</code>

<code>EVM appears healthy</code>

[root@node2 ~]# crs_stat -t

11

12

13

14

15

16

17

18

<code>Name           Type           Target    State     Host        </code>

<code>------------------------------------------------------------</code>

<code>ora....SM1.asm application    ONLINE    ONLINE    node1       </code>

<code>ora....E1.lsnr application    ONLINE    ONLINE    node1       </code>

<code>ora.node1.gsd  application    ONLINE    ONLINE    node1       </code>

<code>ora.node1.ons  application    ONLINE    ONLINE    node1       </code>

<code>ora.node1.vip  application    ONLINE    ONLINE    node1       </code>

<code>ora....SM2.asm application    ONLINE    OFFLINE               </code>

<code>ora....E2.lsnr application    ONLINE    ONLINE    node2       </code>

<code>ora.node2.gsd  application    ONLINE    ONLINE    node2       </code>

<code>ora.node2.ons  application    ONLINE    ONLINE    node2       </code>

<code>ora.node2.vip  application    ONLINE    ONLINE    node2       </code>

<code>ora.prod.db    application    ONLINE    ONLINE    node2       </code>

<code>ora....d1.inst application    ONLINE    ONLINE    node1       </code>

<code>ora....d2.inst application    ONLINE    OFFLINE               </code>

<code>ora...._taf.cs application    OFFLINE   OFFLINE               </code>

<code>ora....od1.srv application    OFFLINE   OFFLINE               </code>

<code>ora....od2.srv application    OFFLINE   OFFLINE</code>

@至此，CRS启动成功！

本文转自 客居天涯 51CTO博客，原文链接：http://blog.51cto.com/tiany/1389611，如需转载请自行联系原作者