近日在Exadata VM上測試IORM，發現CELL的磁盤空間不夠了，沒有辦法，自己給CELL添加新磁盤，并建立新的Lun,celldisk和griddisk.
(Exadata VM Template可以在http://edelivery.oracle.com下載下傳)
先描述一下我的測試環境
一個DELL桌上型電腦，部署了六個伺服器，一個DNS，兩個compute node和三個Cell，就是一個Quarter Rack配置
1
2
3
4
5
6
7
8
9
<code>[root@cnexa1 ~]# xm list</code>
<code>Name ID Mem VCPUs State Time(s)</code>
<code>Domain-</code><code>0</code> <code>0</code> <code>567</code> <code>4</code> <code>r----- </code><code>63820.0</code>
<code>dns01 </code><code>2</code> <code>1024</code> <code>1</code> <code>-b---- </code><code>6731.3</code>
<code>qr01cel01 </code><code>1</code> <code>2240</code> <code>1</code> <code>-b---- </code><code>317517.7</code>
<code>qr01cel02 </code><code>7</code> <code>2240</code> <code>1</code> <code>-b---- </code><code>101918.5</code>
<code>qr01cel03 </code><code>6</code> <code>2240</code> <code>1</code> <code>-b---- </code><code>140451.8</code>
<code>qr01db01 </code><code>13</code> <code>3360</code> <code>1</code> <code>-b---- </code><code>20109.5</code>
<code>qr01db02 </code><code>14</code> <code>3360</code> <code>1</code> <code>-b---- </code><code>18151.4</code>
檢視一下VM配置
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
<code>[root@cnexa1 ~]# cd /OVS/running_pool/</code>
<code>[root@cnexa1 running_pool]# ls</code>
<code>dns01 qr01cel01 qr01cel02 qr01cel03 qr01db01 qr01db02</code>
<code>[root@cnexa1 running_pool]# cd qr01db01/</code>
<code>[root@cnexa1 qr01db01]# more vm.cfg</code>
<code># Automatically generated xen config file</code>
<code>name = </code><code>"qr01db01"</code>
<code>memory = </code><code>"3360"</code>
<code>disk = [ </code><code>'file:/OVS/running_pool/qr01db01/system.img,xvda,w'</code><code>,</code>
<code> </code><code>'file:/OVS/running_pool/qr01db01/u01.img,xvdb,w'</code><code>,</code>
<code> </code><code>'file:/OVS/running_pool/qr01db01/swap_4g.img,xvdd,w'</code><code>, ]</code>
<code>vif = [ </code><code>'mac=00:16:3e:01:01:04, ip=192.0.2.14, bridge=xenbr0'</code><code>,</code>
<code> </code><code>'mac=00:16:3e:01:01:14, ip=192.168.1.14'</code><code>,]</code>
<code>vfb = [</code><code>"type=vnc,vncunused=1,vnclisten=0.0.0.0"</code><code>]</code>
<code>bootloader=</code><code>"/usr/bin/pygrub"</code>
<code>vcpus=</code><code>1</code>
<code>on_reboot = </code><code>'restart'</code>
<code>on_crash = </code><code>'restart'</code>
<code>[root@cnexa1 qr01db01]# more ../qr01cel01/vm.cfg</code>
<code>name = </code><code>"qr01cel01"</code>
<code>memory = </code><code>"2240"</code>
<code>disk = [ </code><code>'file:/OVS/running_pool/qr01cel01/system.img,xvda,w'</code><code>,</code>
<code> </code><code>'file:/OVS/running_pool/qr01cel01/u01.img,xvdb,w'</code><code>,</code>
<code> </code><code>'file:/OVS/running_pool/qr01cel01/u02.img,xvdc,w'</code><code>,</code>
<code> </code><code>'file:/OVS/running_pool/qr01cel01/swap_4g.img,xvdd,w'</code><code>,] </code>
<code>vif = [ </code><code>'mac=00:16:3e:01:01:01, ip=192.0.2.11, bridge=xenbr0'</code><code>,</code>
<code> </code><code>'mac=00:16:3e:01:01:11, ip=192.168.1.11'</code><code>,]</code>
<code>[root@cnexa1 qr01db01]#</code>
我就在qr01cel01上增加新的磁盤，下面開始實驗
1.首先要給qr01cel01虛拟機在VM層面添加新的磁盤裝置，通過dd指令來實作，增加一個10G的檔案
<code>dd </code><code>if</code><code>=/dev/zero of=/OVS/running_pool/qr01cel01/test.img bs=1G count=</code><code>10</code>
2.檢視vm.cfg檔案
<code>[root@cnexa1 qr01cel01]# ls</code>
<code>swap_4g.img system.img system.img.bak test.img u01.img u02.img vm.cfg</code>
<code>[root@cnexa1 qr01cel01]# more vm.cfg</code>
<code> </code><code>'file:/OVS/running_pool/qr01cel01/swap_4g.img,xvdd,w'</code><code>,]</code>
3.修改vm.cfg檔案，并重新啟動主機
<code>[root@cnexa2 qr01cel01]# dd </code><code>if</code><code>=/dev/zero of=/OVS/running_pool/qr01cel01/test.img bs=1G count=</code><code>10</code>
<code>1</code><code>+</code><code>0</code> <code>records </code><code>in</code>
<code>1</code><code>+</code><code>0</code> <code>records out</code>
<code>1073741824</code> <code>bytes (</code><code>1.1</code> <code>GB) copied, </code><code>7.23592</code> <code>seconds, </code><code>148</code> <code>MB/s</code>
<code>[root@cnexa2 qr01cel01]# xm create vm.cfg</code>
<code>Using config file </code><code>"./vm.cfg"</code><code>.</code>
<code>Started domain qr01cel01 (id=</code><code>3</code><code>)</code>
<code> </code><code>'file:/OVS/running_pool/qr01cel01/swap_4g.img,xvdd,w'</code><code>,</code>
<code> </code><code>'file:/OVS/running_pool/qr01cel01/test.img,xvde,w!'</code><code>,] <<<<<<<<<<<<<<已經添加磁盤裝置條目</code>
4.可以通過過vncviewer連接配接到VM内的主機
cnexa1:1
連接配接到虛拟機圖形化以後，需要更改該虛拟機的IP和hostname，這樣後續就可以用ssh連接配接虛拟機。
5.在/etc/xen下建立一個軟連接配接到你需要連接配接的guest下的vm.cfg檔案，這樣就可以通過xm create qr01cel01的方式啟動虛拟機，而不是需要cd到需要啟動的目錄下啟動xm create vm.cfg
<code>[root@cnexa1 xen]# pwd</code>
<code>/etc/xen</code>
<code>[root@cnexa1 xen]# ll</code>
<code>total </code><code>140</code>
<code>drwxr-xr-x </code><code>2</code> <code>root root </code><code>4096</code> <code>Mar </code><code>25</code> <code>2010</code> <code>auto</code>
<code>lrwxrwxrwx </code><code>1</code> <code>root root </code><code>30</code> <code>Sep </code><code>23</code> <code>2012</code> <code>dns01 -> /OVS/running_pool/dns01/vm.cfg</code>
<code>lrwxrwxrwx </code><code>1</code> <code>root root </code><code>31</code> <code>Mar </code><code>31</code> <code>2012</code> <code>host01 -> /OVS/running_pool/host01/vm.cfg</code>
<code>lrwxrwxrwx </code><code>1</code> <code>root root </code><code>31</code> <code>Mar </code><code>31</code> <code>2012</code> <code>host02 -> /OVS/running_pool/host02/vm.cfg</code>
<code>lrwxrwxrwx </code><code>1</code> <code>root root </code><code>31</code> <code>Mar </code><code>31</code> <code>2012</code> <code>host03 -> /OVS/running_pool/host03/vm.cfg</code>
<code>-rwxr-xr-x </code><code>1</code> <code>root root </code><code>840</code> <code>May </code><code>19</code> <code>2009</code> <code>qemu-ifup</code>
<code>lrwxrwxrwx </code><code>1</code> <code>root root </code><code>34</code> <code>Apr </code><code>1</code> <code>2012</code> <code>qr01cel01 -> /OVS/running_pool/qr01cel01/vm.cfg</code>
<code>lrwxrwxrwx </code><code>1</code> <code>root root </code><code>34</code> <code>Apr </code><code>1</code> <code>2012</code> <code>qr01cel02 -> /OVS/running_pool/qr01cel02/vm.cfg</code>
<code>lrwxrwxrwx </code><code>1</code> <code>root root </code><code>34</code> <code>Apr </code><code>1</code> <code>2012</code> <code>qr01cel03 -> /OVS/running_pool/qr01cel03/vm.cfg</code>
<code>lrwxrwxrwx </code><code>1</code> <code>root root </code><code>33</code> <code>Apr </code><code>1</code> <code>2012</code> <code>qr01db01 -> /OVS/running_pool/qr01db01/vm.cfg</code>
<code>lrwxrwxrwx </code><code>1</code> <code>root root </code><code>33</code> <code>Apr </code><code>1</code> <code>2012</code> <code>qr01db02 -> /OVS/running_pool/qr01db02/vm.cfg</code>
至此，VM上硬體層面需要的準備已經完成，下面看是CELL内部的工作。
6.Cell上檢視磁盤
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
<code>[root@qr01cel01 ~]# fdisk -l</code>
<code>Disk /dev/xvda: </code><code>14.6</code> <code>GB, </code><code>14664202240</code> <code>bytes</code>
<code>255</code> <code>heads, </code><code>63</code> <code>sectors/track, </code><code>1782</code> <code>cylinders</code>
<code>Units = cylinders of </code><code>16065</code> <code>* </code><code>512</code> <code>= </code><code>8225280</code> <code>bytes</code>
<code> </code><code>Device Boot Start End Blocks Id System</code>
<code>/dev/xvda1 * </code><code>1</code> <code>12</code> <code>96358</code><code>+ </code><code>83</code> <code>Linux</code>
<code>/dev/xvda2 </code><code>13</code> <code>1782</code> <code>14217525</code> <code>83</code> <code>Linux</code>
<code>Disk /dev/xvdb: </code><code>16.7</code> <code>GB, </code><code>16777216000</code> <code>bytes</code>
<code>255</code> <code>heads, </code><code>63</code> <code>sectors/track, </code><code>2039</code> <code>cylinders</code>
<code>/dev/xvdb1 </code><code>1</code> <code>159</code> <code>1277136</code> <code>83</code> <code>Linux</code>
<code>/dev/xvdb2 </code><code>160</code> <code>318</code> <code>1277167</code><code>+ </code><code>83</code> <code>Linux</code>
<code>/dev/xvdb3 </code><code>319</code> <code>477</code> <code>1277167</code><code>+ </code><code>83</code> <code>Linux</code>
<code>/dev/xvdb4 </code><code>478</code> <code>2039</code> <code>12546765</code> <code>5</code> <code>Extended</code>
<code>/dev/xvdb5 </code><code>478</code> <code>636</code> <code>1277136</code> <code>83</code> <code>Linux</code>
<code>/dev/xvdb6 </code><code>637</code> <code>795</code> <code>1277136</code> <code>83</code> <code>Linux</code>
<code>/dev/xvdb7 </code><code>796</code> <code>954</code> <code>1277136</code> <code>83</code> <code>Linux</code>
<code>/dev/xvdb8 </code><code>955</code> <code>1113</code> <code>1277136</code> <code>83</code> <code>Linux</code>
<code>/dev/xvdb9 </code><code>1114</code> <code>1272</code> <code>1277136</code> <code>83</code> <code>Linux</code>
<code>/dev/xvdb10 </code><code>1273</code> <code>1431</code> <code>1277136</code> <code>83</code> <code>Linux</code>
<code>/dev/xvdb11 </code><code>1432</code> <code>1590</code> <code>1277136</code> <code>83</code> <code>Linux</code>
<code>/dev/xvdb12 </code><code>1591</code> <code>1749</code> <code>1277136</code> <code>83</code> <code>Linux</code>
<code>/dev/xvdb13 </code><code>1750</code> <code>1908</code> <code>1277136</code> <code>83</code> <code>Linux</code>
<code>/dev/xvdb14 </code><code>1909</code> <code>1922</code> <code>112423</code><code>+ </code><code>83</code> <code>Linux</code>
<code>/dev/xvdb15 </code><code>1923</code> <code>1936</code> <code>112423</code><code>+ </code><code>83</code> <code>Linux</code>
<code>Disk /dev/xvdc: </code><code>2097</code> <code>MB, </code><code>2097152000</code> <code>bytes</code>
<code>255</code> <code>heads, </code><code>63</code> <code>sectors/track, </code><code>254</code> <code>cylinders</code>
<code>/dev/xvdc1 </code><code>1</code> <code>14</code> <code>112423</code><code>+ </code><code>83</code> <code>Linux</code>
<code>/dev/xvdc2 </code><code>15</code> <code>28</code> <code>112455</code> <code>83</code> <code>Linux</code>
<code>/dev/xvdc3 </code><code>29</code> <code>42</code> <code>112455</code> <code>83</code> <code>Linux</code>
<code>/dev/xvdc4 </code><code>43</code> <code>254</code> <code>1702890</code> <code>5</code> <code>Extended</code>
<code>/dev/xvdc5 </code><code>43</code> <code>56</code> <code>112423</code><code>+ </code><code>83</code> <code>Linux</code>
<code>/dev/xvdc6 </code><code>57</code> <code>70</code> <code>112423</code><code>+ </code><code>83</code> <code>Linux</code>
<code>/dev/xvdc7 </code><code>71</code> <code>84</code> <code>112423</code><code>+ </code><code>83</code> <code>Linux</code>
<code>/dev/xvdc8 </code><code>85</code> <code>98</code> <code>112423</code><code>+ </code><code>83</code> <code>Linux</code>
<code>/dev/xvdc9 </code><code>99</code> <code>112</code> <code>112423</code><code>+ </code><code>83</code> <code>Linux</code>
<code>/dev/xvdc10 </code><code>113</code> <code>126</code> <code>112423</code><code>+ </code><code>83</code> <code>Linux</code>
<code>/dev/xvdc11 </code><code>127</code> <code>140</code> <code>112423</code><code>+ </code><code>83</code> <code>Linux</code>
<code>/dev/xvdc12 </code><code>141</code> <code>154</code> <code>112423</code><code>+ </code><code>83</code> <code>Linux</code>
<code>/dev/xvdc13 </code><code>155</code> <code>168</code> <code>112423</code><code>+ </code><code>83</code> <code>Linux</code>
<code>/dev/xvdc14 </code><code>169</code> <code>182</code> <code>112423</code><code>+ </code><code>83</code> <code>Linux</code>
<code>/dev/xvdc15 </code><code>183</code> <code>196</code> <code>112423</code><code>+ </code><code>83</code> <code>Linux</code>
<code>Disk /dev/xvdd: </code><code>4294</code> <code>MB, </code><code>4294967296</code> <code>bytes </code>
<code>255</code> <code>heads, </code><code>63</code> <code>sectors/track, </code><code>522</code> <code>cylinders</code>
<code>Disk /dev/xvdd doesn't contain a valid partition table</code>
<code>Disk /dev/xvde: </code><code>10.7</code> <code>GB, </code><code>10737418240</code> <code>bytes <<<<<<<<<<<這部分才是我們剛剛建立的磁盤</code>
<code>255</code> <code>heads, </code><code>63</code> <code>sectors/track, </code><code>1305</code> <code>cylinders</code>
<code>Disk /dev/xvde doesn't contain a valid partition table</code>
7.通過fdisk /dev/xvde劃分了8分邏輯分區，劃分之後，需要建立lun，其實lun的建立非常簡單，就是在路徑/opt/oracle/cell11.2.2.4.0_LINUX.X64_110929/disks/raw/下建立一個軟連結到/dev/xvd*.
當cell掃描磁盤的時候告訴真實的磁盤位置。
<code>[root@qr01cel01 raw]# ln -sf /dev/xvde11 DISK13</code>
<code>[root@qr01cel01 raw]# ln -sf /dev/xvde12 DISK14</code>
<code>[root@qr01cel01 raw]# ln -sf /dev/xvde5 DISK15</code>
<code>[root@qr01cel01 raw]# ln -sf /dev/xvde6 DISK16</code>
<code>[root@qr01cel01 raw]# ln -sf /dev/xvde7 DISK17</code>
<code>[root@qr01cel01 raw]# ln -sf /dev/xvde8 DISK18</code>
<code>[root@qr01cel01 raw]# ln -sf /dev/xvde9 DISK19</code>
<code>檢視軟連結</code>
<code>[root@qr01cel01 raw]# ll</code>
<code>total </code><code>112</code>
<code>lrwxrwxrwx </code><code>1</code> <code>root root </code><code>10</code> <code>Nov </code><code>29</code> <code>2010</code> <code>DISK00 -> /dev/xvdb1</code>
<code>lrwxrwxrwx </code><code>1</code> <code>root root </code><code>10</code> <code>Nov </code><code>29</code> <code>2010</code> <code>DISK01 -> /dev/xvdb2</code>
<code>lrwxrwxrwx </code><code>1</code> <code>root root </code><code>10</code> <code>Nov </code><code>29</code> <code>2010</code> <code>DISK02 -> /dev/xvdb3</code>
<code>lrwxrwxrwx </code><code>1</code> <code>root root </code><code>10</code> <code>Nov </code><code>29</code> <code>2010</code> <code>DISK03 -> /dev/xvdb5</code>
<code>lrwxrwxrwx </code><code>1</code> <code>root root </code><code>10</code> <code>Nov </code><code>29</code> <code>2010</code> <code>DISK04 -> /dev/xvdb6</code>
<code>lrwxrwxrwx </code><code>1</code> <code>root root </code><code>10</code> <code>Nov </code><code>29</code> <code>2010</code> <code>DISK05 -> /dev/xvdb7</code>
<code>lrwxrwxrwx </code><code>1</code> <code>root root </code><code>10</code> <code>Nov </code><code>29</code> <code>2010</code> <code>DISK06 -> /dev/xvdb8</code>
<code>lrwxrwxrwx </code><code>1</code> <code>root root </code><code>10</code> <code>Nov </code><code>29</code> <code>2010</code> <code>DISK07 -> /dev/xvdb9</code>
<code>lrwxrwxrwx </code><code>1</code> <code>root root </code><code>11</code> <code>Nov </code><code>29</code> <code>2010</code> <code>DISK08 -> /dev/xvdb10</code>
<code>lrwxrwxrwx </code><code>1</code> <code>root root </code><code>11</code> <code>Nov </code><code>29</code> <code>2010</code> <code>DISK09 -> /dev/xvdb11</code>
<code>lrwxrwxrwx </code><code>1</code> <code>root root </code><code>11</code> <code>Nov </code><code>29</code> <code>2010</code> <code>DISK10 -> /dev/xvdb12</code>
<code>lrwxrwxrwx </code><code>1</code> <code>root root </code><code>11</code> <code>Nov </code><code>29</code> <code>2010</code> <code>DISK11 -> /dev/xvdb13</code>
<code>lrwxrwxrwx </code><code>1</code> <code>root root </code><code>11</code> <code>Apr </code><code>18</code> <code>18</code><code>:</code><code>25</code> <code>DISK12 -> /dev/xvde10 <<<<<<</code>
<code>lrwxrwxrwx </code><code>1</code> <code>root root </code><code>11</code> <code>Apr </code><code>18</code> <code>18</code><code>:</code><code>25</code> <code>DISK13 -> /dev/xvde11</code>
<code>lrwxrwxrwx </code><code>1</code> <code>root root </code><code>11</code> <code>Apr </code><code>18</code> <code>18</code><code>:</code><code>25</code> <code>DISK14 -> /dev/xvde12</code>
<code>lrwxrwxrwx </code><code>1</code> <code>root root </code><code>10</code> <code>Apr </code><code>18</code> <code>18</code><code>:</code><code>25</code> <code>DISK15 -> /dev/xvde5</code>
<code>lrwxrwxrwx </code><code>1</code> <code>root root </code><code>10</code> <code>Apr </code><code>18</code> <code>18</code><code>:</code><code>25</code> <code>DISK16 -> /dev/xvde6</code>
<code>lrwxrwxrwx </code><code>1</code> <code>root root </code><code>10</code> <code>Apr </code><code>18</code> <code>18</code><code>:</code><code>25</code> <code>DISK17 -> /dev/xvde7</code>
<code>lrwxrwxrwx </code><code>1</code> <code>root root </code><code>10</code> <code>Apr </code><code>18</code> <code>18</code><code>:</code><code>25</code> <code>DISK18 -> /dev/xvde8</code>
<code>lrwxrwxrwx </code><code>1</code> <code>root root </code><code>10</code> <code>Apr </code><code>18</code> <code>18</code><code>:</code><code>25</code> <code>DISK19 -> /dev/xvde9 <<<<<<</code>
<code>lrwxrwxrwx </code><code>1</code> <code>root root </code><code>11</code> <code>Nov </code><code>29</code> <code>2010</code> <code>FLASH00 -> /dev/xvdb14</code>
<code>lrwxrwxrwx </code><code>1</code> <code>root root </code><code>11</code> <code>Nov </code><code>29</code> <code>2010</code> <code>FLASH01 -> /dev/xvdb15</code>
<code>lrwxrwxrwx </code><code>1</code> <code>root root </code><code>10</code> <code>Nov </code><code>29</code> <code>2010</code> <code>FLASH02 -> /dev/xvdc1</code>
<code>lrwxrwxrwx </code><code>1</code> <code>root root </code><code>10</code> <code>Nov </code><code>29</code> <code>2010</code> <code>FLASH03 -> /dev/xvdc2</code>
<code>lrwxrwxrwx </code><code>1</code> <code>root root </code><code>10</code> <code>Nov </code><code>29</code> <code>2010</code> <code>FLASH04 -> /dev/xvdc3</code>
<code>lrwxrwxrwx </code><code>1</code> <code>root root </code><code>10</code> <code>Nov </code><code>29</code> <code>2010</code> <code>FLASH05 -> /dev/xvdc5</code>
<code>lrwxrwxrwx </code><code>1</code> <code>root root </code><code>10</code> <code>Nov </code><code>29</code> <code>2010</code> <code>FLASH06 -> /dev/xvdc6</code>
<code>lrwxrwxrwx </code><code>1</code> <code>root root </code><code>10</code> <code>Nov </code><code>29</code> <code>2010</code> <code>FLASH07 -> /dev/xvdc7</code>
<code>lrwxrwxrwx </code><code>1</code> <code>root root </code><code>10</code> <code>Nov </code><code>29</code> <code>2010</code> <code>FLASH08 -> /dev/xvdc8</code>
<code>lrwxrwxrwx </code><code>1</code> <code>root root </code><code>10</code> <code>Nov </code><code>29</code> <code>2010</code> <code>FLASH09 -> /dev/xvdc9</code>
<code>lrwxrwxrwx </code><code>1</code> <code>root root </code><code>11</code> <code>Nov </code><code>29</code> <code>2010</code> <code>FLASH10 -> /dev/xvdc10</code>
<code>lrwxrwxrwx </code><code>1</code> <code>root root </code><code>11</code> <code>Nov </code><code>29</code> <code>2010</code> <code>FLASH11 -> /dev/xvdc11</code>
<code>lrwxrwxrwx </code><code>1</code> <code>root root </code><code>11</code> <code>Nov </code><code>29</code> <code>2010</code> <code>FLASH12 -> /dev/xvdc12</code>
<code>lrwxrwxrwx </code><code>1</code> <code>root root </code><code>11</code> <code>Nov </code><code>29</code> <code>2010</code> <code>FLASH13 -> /dev/xvdc13</code>
<code>lrwxrwxrwx </code><code>1</code> <code>root root </code><code>11</code> <code>Nov </code><code>29</code> <code>2010</code> <code>FLASH14 -> /dev/xvdc14</code>
<code>lrwxrwxrwx </code><code>1</code> <code>root root </code><code>11</code> <code>Nov </code><code>29</code> <code>2010</code> <code>FLASH15 -> /dev/xvdc15</code>
8.檢視LUN
<code>[root@qr01cel01 raw]# cellcli</code>
<code>CellCLI: Release </code><code>11.2</code><code>.</code><code>2.4</code><code>.</code><code>0</code> <code>- Production on Thu Apr </code><code>18</code> <code>14</code><code>:</code><code>26</code><code>:</code><code>06</code> <code>EDT </code><code>2013</code>
<code>Copyright (c) </code><code>2007</code><code>, </code><code>2011</code><code>, Oracle. All rights reserved.</code>
<code>Cell Efficiency Ratio: </code><code>1</code><code>,</code><code>216</code>
<code> </code>
<code>CellCLI> list lun</code>
<code> </code><code>/opt/oracle/cell11.</code><code>2.2</code><code>.</code><code>4</code><code>.0_LINUX.X64_110929/disks/raw/DISK00 /opt/oracle/cell11.</code><code>2.2</code><code>.</code><code>4</code><code>.0_LINUX.X64_110929/disks/raw/DISK00 normal</code>
<code> </code><code>/opt/oracle/cell11.</code><code>2.2</code><code>.</code><code>4</code><code>.0_LINUX.X64_110929/disks/raw/DISK01 /opt/oracle/cell11.</code><code>2.2</code><code>.</code><code>4</code><code>.0_LINUX.X64_110929/disks/raw/DISK01 normal</code>
<code> </code><code>/opt/oracle/cell11.</code><code>2.2</code><code>.</code><code>4</code><code>.0_LINUX.X64_110929/disks/raw/DISK02 /opt/oracle/cell11.</code><code>2.2</code><code>.</code><code>4</code><code>.0_LINUX.X64_110929/disks/raw/DISK02 normal</code>
<code> </code><code>/opt/oracle/cell11.</code><code>2.2</code><code>.</code><code>4</code><code>.0_LINUX.X64_110929/disks/raw/DISK03 /opt/oracle/cell11.</code><code>2.2</code><code>.</code><code>4</code><code>.0_LINUX.X64_110929/disks/raw/DISK03 normal</code>
<code> </code><code>/opt/oracle/cell11.</code><code>2.2</code><code>.</code><code>4</code><code>.0_LINUX.X64_110929/disks/raw/DISK04 /opt/oracle/cell11.</code><code>2.2</code><code>.</code><code>4</code><code>.0_LINUX.X64_110929/disks/raw/DISK04 normal</code>
<code> </code><code>/opt/oracle/cell11.</code><code>2.2</code><code>.</code><code>4</code><code>.0_LINUX.X64_110929/disks/raw/DISK05 /opt/oracle/cell11.</code><code>2.2</code><code>.</code><code>4</code><code>.0_LINUX.X64_110929/disks/raw/DISK05 normal</code>
<code> </code><code>/opt/oracle/cell11.</code><code>2.2</code><code>.</code><code>4</code><code>.0_LINUX.X64_110929/disks/raw/DISK06 /opt/oracle/cell11.</code><code>2.2</code><code>.</code><code>4</code><code>.0_LINUX.X64_110929/disks/raw/DISK06 normal</code>
<code> </code><code>/opt/oracle/cell11.</code><code>2.2</code><code>.</code><code>4</code><code>.0_LINUX.X64_110929/disks/raw/DISK07 /opt/oracle/cell11.</code><code>2.2</code><code>.</code><code>4</code><code>.0_LINUX.X64_110929/disks/raw/DISK07 normal</code>
<code> </code><code>/opt/oracle/cell11.</code><code>2.2</code><code>.</code><code>4</code><code>.0_LINUX.X64_110929/disks/raw/DISK08 /opt/oracle/cell11.</code><code>2.2</code><code>.</code><code>4</code><code>.0_LINUX.X64_110929/disks/raw/DISK08 normal</code>
<code> </code><code>/opt/oracle/cell11.</code><code>2.2</code><code>.</code><code>4</code><code>.0_LINUX.X64_110929/disks/raw/DISK09 /opt/oracle/cell11.</code><code>2.2</code><code>.</code><code>4</code><code>.0_LINUX.X64_110929/disks/raw/DISK09 normal</code>
<code> </code><code>/opt/oracle/cell11.</code><code>2.2</code><code>.</code><code>4</code><code>.0_LINUX.X64_110929/disks/raw/DISK10 /opt/oracle/cell11.</code><code>2.2</code><code>.</code><code>4</code><code>.0_LINUX.X64_110929/disks/raw/DISK10 normal</code>
<code> </code><code>/opt/oracle/cell11.</code><code>2.2</code><code>.</code><code>4</code><code>.0_LINUX.X64_110929/disks/raw/DISK11 /opt/oracle/cell11.</code><code>2.2</code><code>.</code><code>4</code><code>.0_LINUX.X64_110929/disks/raw/DISK11 normal</code>
<code> </code><code>/opt/oracle/cell11.</code><code>2.2</code><code>.</code><code>4</code><code>.0_LINUX.X64_110929/disks/raw/DISK12 /opt/oracle/cell11.</code><code>2.2</code><code>.</code><code>4</code><code>.0_LINUX.X64_110929/disks/raw/DISK12 normal</code>
<code> </code><code>/opt/oracle/cell11.</code><code>2.2</code><code>.</code><code>4</code><code>.0_LINUX.X64_110929/disks/raw/DISK13 /opt/oracle/cell11.</code><code>2.2</code><code>.</code><code>4</code><code>.0_LINUX.X64_110929/disks/raw/DISK13 normal</code>
<code> </code><code>/opt/oracle/cell11.</code><code>2.2</code><code>.</code><code>4</code><code>.0_LINUX.X64_110929/disks/raw/DISK14 /opt/oracle/cell11.</code><code>2.2</code><code>.</code><code>4</code><code>.0_LINUX.X64_110929/disks/raw/DISK14 normal</code>
<code> </code><code>/opt/oracle/cell11.</code><code>2.2</code><code>.</code><code>4</code><code>.0_LINUX.X64_110929/disks/raw/DISK15 /opt/oracle/cell11.</code><code>2.2</code><code>.</code><code>4</code><code>.0_LINUX.X64_110929/disks/raw/DISK15 normal</code>
<code> </code><code>/opt/oracle/cell11.</code><code>2.2</code><code>.</code><code>4</code><code>.0_LINUX.X64_110929/disks/raw/DISK16 /opt/oracle/cell11.</code><code>2.2</code><code>.</code><code>4</code><code>.0_LINUX.X64_110929/disks/raw/DISK16 normal</code>
<code> </code><code>/opt/oracle/cell11.</code><code>2.2</code><code>.</code><code>4</code><code>.0_LINUX.X64_110929/disks/raw/DISK17 /opt/oracle/cell11.</code><code>2.2</code><code>.</code><code>4</code><code>.0_LINUX.X64_110929/disks/raw/DISK17 normal</code>
<code> </code><code>/opt/oracle/cell11.</code><code>2.2</code><code>.</code><code>4</code><code>.0_LINUX.X64_110929/disks/raw/DISK18 /opt/oracle/cell11.</code><code>2.2</code><code>.</code><code>4</code><code>.0_LINUX.X64_110929/disks/raw/DISK18 normal</code>
<code> </code><code>/opt/oracle/cell11.</code><code>2.2</code><code>.</code><code>4</code><code>.0_LINUX.X64_110929/disks/raw/DISK19 /opt/oracle/cell11.</code><code>2.2</code><code>.</code><code>4</code><code>.0_LINUX.X64_110929/disks/raw/DISK19 normal</code>
<code> </code><code>/opt/oracle/cell11.</code><code>2.2</code><code>.</code><code>4</code><code>.0_LINUX.X64_110929/disks/raw/FLASH00 /opt/oracle/cell11.</code><code>2.2</code><code>.</code><code>4</code><code>.0_LINUX.X64_110929/disks/raw/FLASH00 normal</code>
<code> </code><code>/opt/oracle/cell11.</code><code>2.2</code><code>.</code><code>4</code><code>.0_LINUX.X64_110929/disks/raw/FLASH01 /opt/oracle/cell11.</code><code>2.2</code><code>.</code><code>4</code><code>.0_LINUX.X64_110929/disks/raw/FLASH01 normal</code>
<code> </code><code>/opt/oracle/cell11.</code><code>2.2</code><code>.</code><code>4</code><code>.0_LINUX.X64_110929/disks/raw/FLASH02 /opt/oracle/cell11.</code><code>2.2</code><code>.</code><code>4</code><code>.0_LINUX.X64_110929/disks/raw/FLASH02 normal</code>
<code> </code><code>/opt/oracle/cell11.</code><code>2.2</code><code>.</code><code>4</code><code>.0_LINUX.X64_110929/disks/raw/FLASH03 /opt/oracle/cell11.</code><code>2.2</code><code>.</code><code>4</code><code>.0_LINUX.X64_110929/disks/raw/FLASH03 normal</code>
<code> </code><code>/opt/oracle/cell11.</code><code>2.2</code><code>.</code><code>4</code><code>.0_LINUX.X64_110929/disks/raw/FLASH04 /opt/oracle/cell11.</code><code>2.2</code><code>.</code><code>4</code><code>.0_LINUX.X64_110929/disks/raw/FLASH04 normal</code>
<code> </code><code>/opt/oracle/cell11.</code><code>2.2</code><code>.</code><code>4</code><code>.0_LINUX.X64_110929/disks/raw/FLASH05 /opt/oracle/cell11.</code><code>2.2</code><code>.</code><code>4</code><code>.0_LINUX.X64_110929/disks/raw/FLASH05 normal</code>
<code> </code><code>/opt/oracle/cell11.</code><code>2.2</code><code>.</code><code>4</code><code>.0_LINUX.X64_110929/disks/raw/FLASH06 /opt/oracle/cell11.</code><code>2.2</code><code>.</code><code>4</code><code>.0_LINUX.X64_110929/disks/raw/FLASH06 normal</code>
<code> </code><code>/opt/oracle/cell11.</code><code>2.2</code><code>.</code><code>4</code><code>.0_LINUX.X64_110929/disks/raw/FLASH07 /opt/oracle/cell11.</code><code>2.2</code><code>.</code><code>4</code><code>.0_LINUX.X64_110929/disks/raw/FLASH07 normal</code>
<code> </code><code>/opt/oracle/cell11.</code><code>2.2</code><code>.</code><code>4</code><code>.0_LINUX.X64_110929/disks/raw/FLASH08 /opt/oracle/cell11.</code><code>2.2</code><code>.</code><code>4</code><code>.0_LINUX.X64_110929/disks/raw/FLASH08 normal</code>
<code> </code><code>/opt/oracle/cell11.</code><code>2.2</code><code>.</code><code>4</code><code>.0_LINUX.X64_110929/disks/raw/FLASH09 /opt/oracle/cell11.</code><code>2.2</code><code>.</code><code>4</code><code>.0_LINUX.X64_110929/disks/raw/FLASH09 normal</code>
<code> </code><code>/opt/oracle/cell11.</code><code>2.2</code><code>.</code><code>4</code><code>.0_LINUX.X64_110929/disks/raw/FLASH10 /opt/oracle/cell11.</code><code>2.2</code><code>.</code><code>4</code><code>.0_LINUX.X64_110929/disks/raw/FLASH10 normal</code>
<code> </code><code>/opt/oracle/cell11.</code><code>2.2</code><code>.</code><code>4</code><code>.0_LINUX.X64_110929/disks/raw/FLASH11 /opt/oracle/cell11.</code><code>2.2</code><code>.</code><code>4</code><code>.0_LINUX.X64_110929/disks/raw/FLASH11 normal</code>
<code> </code><code>/opt/oracle/cell11.</code><code>2.2</code><code>.</code><code>4</code><code>.0_LINUX.X64_110929/disks/raw/FLASH12 /opt/oracle/cell11.</code><code>2.2</code><code>.</code><code>4</code><code>.0_LINUX.X64_110929/disks/raw/FLASH12 normal</code>
<code> </code><code>/opt/oracle/cell11.</code><code>2.2</code><code>.</code><code>4</code><code>.0_LINUX.X64_110929/disks/raw/FLASH13 /opt/oracle/cell11.</code><code>2.2</code><code>.</code><code>4</code><code>.0_LINUX.X64_110929/disks/raw/FLASH13 normal</code>
<code> </code><code>/opt/oracle/cell11.</code><code>2.2</code><code>.</code><code>4</code><code>.0_LINUX.X64_110929/disks/raw/FLASH14 /opt/oracle/cell11.</code><code>2.2</code><code>.</code><code>4</code><code>.0_LINUX.X64_110929/disks/raw/FLASH14 normal</code>
<code> </code><code>/opt/oracle/cell11.</code><code>2.2</code><code>.</code><code>4</code><code>.0_LINUX.X64_110929/disks/raw/FLASH15 /opt/oracle/cell11.</code><code>2.2</code><code>.</code><code>4</code><code>.0_LINUX.X64_110929/disks/raw/FLASH15 normal</code>
9.建立Celldisk
<code>CellCLI> create celldisk all</code>
<code>CellDisk CD_DISK12_qr01cel01 successfully created</code>
<code>CellDisk CD_DISK13_qr01cel01 successfully created</code>
<code>CellDisk CD_DISK14_qr01cel01 successfully created</code>
<code>CellDisk CD_DISK15_qr01cel01 successfully created</code>
<code>CellDisk CD_DISK16_qr01cel01 successfully created</code>
<code>CellDisk CD_DISK17_qr01cel01 successfully created</code>
<code>CellDisk CD_DISK18_qr01cel01 successfully created</code>
<code>CellDisk CD_DISK19_qr01cel01 successfully created</code>
<code>CellCLI> list celldisk</code>
<code> </code><code>CD_00_qr01cel01 normal</code>
<code> </code><code>CD_01_qr01cel01 normal</code>
<code> </code><code>CD_02_qr01cel01 normal</code>
<code> </code><code>CD_03_qr01cel01 normal</code>
<code> </code><code>CD_04_qr01cel01 normal</code>
<code> </code><code>CD_05_qr01cel01 normal</code>
<code> </code><code>CD_06_qr01cel01 normal</code>
<code> </code><code>CD_07_qr01cel01 normal</code>
<code> </code><code>CD_08_qr01cel01 normal</code>
<code> </code><code>CD_09_qr01cel01 normal</code>
<code> </code><code>CD_10_qr01cel01 normal</code>
<code> </code><code>CD_11_qr01cel01 normal</code>
<code> </code><code>CD_DISK12_qr01cel01 normal</code>
<code> </code><code>CD_DISK13_qr01cel01 normal</code>
<code> </code><code>CD_DISK14_qr01cel01 normal</code>
<code> </code><code>CD_DISK15_qr01cel01 normal</code>
<code> </code><code>CD_DISK16_qr01cel01 normal</code>
<code> </code><code>CD_DISK17_qr01cel01 normal</code>
<code> </code><code>CD_DISK18_qr01cel01 normal</code>
<code> </code><code>CD_DISK19_qr01cel01 normal</code>
<code> </code><code>FD_00_qr01cel01 normal</code>
<code> </code><code>FD_01_qr01cel01 normal</code>
<code> </code><code>FD_02_qr01cel01 normal</code>
<code> </code><code>FD_03_qr01cel01 normal</code>
<code> </code><code>FD_04_qr01cel01 normal</code>
<code> </code><code>FD_05_qr01cel01 normal</code>
<code> </code><code>FD_06_qr01cel01 normal</code>
<code> </code><code>FD_07_qr01cel01 normal</code>
<code> </code><code>FD_08_qr01cel01 normal</code>
<code> </code><code>FD_09_qr01cel01 normal</code>
<code> </code><code>FD_10_qr01cel01 normal</code>
<code> </code><code>FD_11_qr01cel01 normal</code>
<code> </code><code>FD_12_qr01cel01 normal</code>
<code> </code><code>FD_13_qr01cel01 normal</code>
<code> </code><code>FD_14_qr01cel01 normal</code>
<code> </code><code>FD_15_qr01cel01 normal</code>
10.檢視目前的griddisk
<code>CellCLI> list griddisk </code>
<code> </code><code>DATA_QR01_CD_00_qr01cel01 active </code>
<code> </code><code>DATA_QR01_CD_01_qr01cel01 active </code>
<code> </code><code>DATA_QR01_CD_02_qr01cel01 active </code>
<code> </code><code>DATA_QR01_CD_03_qr01cel01 active </code>
<code> </code><code>DATA_QR01_CD_04_qr01cel01 active </code>
<code> </code><code>DATA_QR01_CD_05_qr01cel01 active </code>
<code> </code><code>DATA_QR01_CD_06_qr01cel01 active </code>
<code> </code><code>DATA_QR01_CD_07_qr01cel01 active </code>
<code> </code><code>DATA_QR01_CD_08_qr01cel01 active </code>
<code> </code><code>DATA_QR01_CD_09_qr01cel01 active </code>
<code> </code><code>DATA_QR01_CD_10_qr01cel01 active </code>
<code> </code><code>DATA_QR01_CD_11_qr01cel01 active </code>
<code> </code><code>DBFS_DG_CD_00_qr01cel01 active </code>
<code> </code><code>DBFS_DG_CD_01_qr01cel01 active </code>
<code> </code><code>DBFS_DG_CD_02_qr01cel01 active </code>
<code> </code><code>DBFS_DG_CD_03_qr01cel01 active </code>
<code> </code><code>DBFS_DG_CD_04_qr01cel01 active </code>
<code> </code><code>DBFS_DG_CD_05_qr01cel01 active </code>
<code> </code><code>DBFS_DG_CD_06_qr01cel01 active </code>
<code> </code><code>DBFS_DG_CD_07_qr01cel01 active </code>
<code> </code><code>DBFS_DG_CD_08_qr01cel01 active </code>
<code> </code><code>DBFS_DG_CD_09_qr01cel01 active </code>
<code> </code><code>DBFS_DG_CD_10_qr01cel01 active </code>
<code> </code><code>DBFS_DG_CD_11_qr01cel01 active </code>
<code> </code><code>RECO_QR01_CD_00_qr01cel01 active </code>
<code> </code><code>RECO_QR01_CD_01_qr01cel01 active </code>
<code> </code><code>RECO_QR01_CD_02_qr01cel01 active </code>
<code> </code><code>RECO_QR01_CD_03_qr01cel01 active </code>
<code> </code><code>RECO_QR01_CD_04_qr01cel01 active </code>
<code> </code><code>RECO_QR01_CD_05_qr01cel01 active </code>
<code> </code><code>RECO_QR01_CD_06_qr01cel01 active </code>
<code> </code><code>RECO_QR01_CD_07_qr01cel01 active </code>
<code> </code><code>RECO_QR01_CD_08_qr01cel01 active </code>
<code> </code><code>RECO_QR01_CD_09_qr01cel01 active </code>
<code> </code><code>RECO_QR01_CD_10_qr01cel01 active </code>
<code> </code><code>RECO_QR01_CD_11_qr01cel01 active</code>
11.建立griddisk
<code>CellCLI> create griddisk all prefix=data</code>
<code>Cell disks were skipped because they had no freespace </code><code>for</code> <code>grid disks: CD_00_qr01cel01, CD_01_qr01cel01, CD_02_qr01cel01, CD_03_qr01cel01, CD_04_qr01cel01, CD_05_qr01cel01, CD_06_qr01cel01, CD_07_qr01cel01, CD_08_qr01cel01, CD_09_qr01cel01, CD_10_qr01cel01, CD_11_qr01cel01, FD_00_qr01cel01, FD_01_qr01cel01, FD_02_qr01cel01, FD_03_qr01cel01, FD_04_qr01cel01, FD_05_qr01cel01, FD_06_qr01cel01, FD_07_qr01cel01, FD_08_qr01cel01, FD_09_qr01cel01, FD_10_qr01cel01, FD_11_qr01cel01, FD_12_qr01cel01, FD_13_qr01cel01, FD_14_qr01cel01, FD_15_qr01cel01.</code>
<code>GridDisk data_CD_DISK12_qr01cel01 successfully created</code>
<code>GridDisk data_CD_DISK13_qr01cel01 successfully created</code>
<code>GridDisk data_CD_DISK14_qr01cel01 successfully created</code>
<code>GridDisk data_CD_DISK15_qr01cel01 successfully created</code>
<code>GridDisk data_CD_DISK16_qr01cel01 successfully created</code>
<code>GridDisk data_CD_DISK17_qr01cel01 successfully created</code>
<code>GridDisk data_CD_DISK18_qr01cel01 successfully created</code>
<code>GridDisk data_CD_DISK19_qr01cel01 successfully created</code>
<code>===============================================================</code>
<code>注意：我由于隻想将磁盤添加到data磁盤組，如果将一個celldisk分成data、reco和dbfs三個磁盤組的話，需要按照這個方法批量去做（注意指令執行先後順序，先建立的磁盤組，會在磁盤外圈開始配置設定空間，後面建立的依次建立）</code>
<code>CellCLI> CREATE GRIDDISK ALL PREFIX=DATA, size=<desired size>; <<<<<<根據原有data diskgroup大小設定size，</code>
<code>CellCLI> CREATE GRIDDISK ALL PREFIX=RECO, size=<desired size>;</code>
<code>CellCLI> CREATE GRIDDISK ALL PREFIX=DBFS； <<<<<<<<<<<<<<<<<<将剩餘的磁盤空間全部使用</code>
12.檢視目前的griddisk
<code>CellCLI> list griddisk</code>
<code> </code><code>data_CD_DISK12_qr01cel01 active</code>
<code> </code><code>data_CD_DISK13_qr01cel01 active</code>
<code> </code><code>data_CD_DISK14_qr01cel01 active</code>
<code> </code><code>data_CD_DISK15_qr01cel01 active</code>
<code> </code><code>data_CD_DISK16_qr01cel01 active</code>
<code> </code><code>data_CD_DISK17_qr01cel01 active</code>
<code> </code><code>data_CD_DISK18_qr01cel01 active</code>
<code> </code><code>data_CD_DISK19_qr01cel01 active</code>
<code> </code><code>DATA_QR01_CD_00_qr01cel01 active</code>
<code> </code><code>DATA_QR01_CD_01_qr01cel01 active</code>
<code> </code><code>DATA_QR01_CD_02_qr01cel01 active</code>
<code> </code><code>DATA_QR01_CD_03_qr01cel01 active</code>
<code> </code><code>DATA_QR01_CD_04_qr01cel01 active</code>
<code> </code><code>DATA_QR01_CD_05_qr01cel01 active</code>
<code> </code><code>DATA_QR01_CD_06_qr01cel01 active</code>
<code> </code><code>DATA_QR01_CD_07_qr01cel01 active</code>
<code> </code><code>DATA_QR01_CD_08_qr01cel01 active</code>
<code> </code><code>DATA_QR01_CD_09_qr01cel01 active</code>
<code> </code><code>DATA_QR01_CD_10_qr01cel01 active</code>
<code> </code><code>DATA_QR01_CD_11_qr01cel01 active</code>
<code> </code><code>DBFS_DG_CD_00_qr01cel01 active</code>
<code> </code><code>DBFS_DG_CD_01_qr01cel01 active</code>
<code> </code><code>DBFS_DG_CD_02_qr01cel01 active</code>
<code> </code><code>DBFS_DG_CD_03_qr01cel01 active</code>
<code> </code><code>DBFS_DG_CD_04_qr01cel01 active</code>
<code> </code><code>DBFS_DG_CD_05_qr01cel01 active</code>
<code> </code><code>DBFS_DG_CD_06_qr01cel01 active</code>
<code> </code><code>DBFS_DG_CD_07_qr01cel01 active</code>
<code> </code><code>DBFS_DG_CD_08_qr01cel01 active</code>
<code> </code><code>DBFS_DG_CD_09_qr01cel01 active</code>
<code> </code><code>DBFS_DG_CD_10_qr01cel01 active</code>
<code> </code><code>DBFS_DG_CD_11_qr01cel01 active</code>
<code> </code><code>RECO_QR01_CD_00_qr01cel01 active</code>
<code> </code><code>RECO_QR01_CD_01_qr01cel01 active</code>
<code> </code><code>RECO_QR01_CD_02_qr01cel01 active</code>
<code> </code><code>RECO_QR01_CD_03_qr01cel01 active</code>
<code> </code><code>RECO_QR01_CD_04_qr01cel01 active</code>
<code> </code><code>RECO_QR01_CD_05_qr01cel01 active</code>
<code> </code><code>RECO_QR01_CD_06_qr01cel01 active</code>
<code> </code><code>RECO_QR01_CD_07_qr01cel01 active</code>
<code> </code><code>RECO_QR01_CD_08_qr01cel01 active</code>
<code> </code><code>RECO_QR01_CD_09_qr01cel01 active</code>
<code> </code><code>RECO_QR01_CD_10_qr01cel01 active</code>
13.我們建立了下面幾個Griddisk
<code></code>
<code>data_CD_DISK12_qr01cel01 active</code>
<code>data_CD_DISK13_qr01cel01 active</code>
<code>data_CD_DISK14_qr01cel01 active</code>
<code>data_CD_DISK15_qr01cel01 active</code>
<code>data_CD_DISK16_qr01cel01 active</code>
<code>data_CD_DISK17_qr01cel01 active</code>
<code>data_CD_DISK18_qr01cel01 active</code>
<code>data_CD_DISK19_qr01cel01 active</code>
到這裡就完成了，當griddisk建立成功後，cellsrv就能正常識别并且告訴compute node，然後就可以公共ASM磁盤組添加磁盤來使用新增加的磁盤裝置
本文轉自 hsbxxl 51CTO部落格，原文連結：http://blog.51cto.com/hsbxxl/1227806，如需轉載請自行聯系原作者
![linux-svn解除安裝與安裝[圖]](data:image/gif;base64,R0lGODlhAQABAIAAAP///wAAACwAAAAAAQABAAACAkQBADs=)