天天看點

解剖SQLSERVER 第十六篇 OrcaMDF RawDatabase --MDF檔案的瑞士軍刀(譯)解剖SQLSERVER 第十六篇 OrcaMDF RawDatabase --MDF檔案的瑞士軍刀(譯)

<a href="http://improve.dk/orcamdf-rawdatabase-a-swiss-army-knife-for-mdf-files/">http://improve.dk/orcamdf-rawdatabase-a-swiss-army-knife-for-mdf-files/</a>

當我最初開始開發OrcaMDF的時候我隻有一個目标,比市面上大部分的書要擷取MDF檔案内部的更深層次的知識

随着時間的推移,OrcaMDF确實做到了。在我當初沒有計劃的時候,OrcaMDF 已經可以解析系統表,中繼資料,甚至DMVs。我還做了一個簡單UI,讓OrcaMDF 更加容易使用。

這很好,但是帶來的代價是軟體非常複雜。為了自動解析中繼資料 例如schemas, partitions, allocation units 還有其他的東西,更不要提對于堆表和索引的細節的抽象層了,抽象層需要很多代碼并且需要更多的資料庫了解。鑒于不同SQLSERVER版本之間中繼資料的改變,OrcaMDF 目前僅支援SQL Server 2008 R2。然而,資料結構是相對穩定的,中繼資料的存儲方式隻有一點不同,使用DMVs暴露資料等等。要讓OrcaMDF 正常運作,需要中繼資料是完好無損的,這就導緻當SQLSERVER損壞的時候OrcaMDF 也是一樣的。遇到損壞的boot page嗎?無論SQLSERVER還是 OrcaMDF 都不能解析資料庫

向RawDatabase問好

我在憧憬OrcaMDF 的未來 和如何使用他才是最有用的。我能夠不斷增加新的特性進去以使SQLSERVER支援什麼功能他也支援,最終使得他能100%解析MDF檔案。但是意義何在?當然,這是一個很好的學習機會,不過重點是,你使用軟體讀取資料,SQLSERVER能比你做得更好。是以,該如何選擇?

RawDatabase, 參照Database 類,他不會嘗試解析任何東西除非你讓他去解析。

他不會自動解析schemas。他不知道系統表。他不知道DMVs。然而他知道SQLSERVER資料結構和給他一個接口他可以直接讀取MDF檔案。

讓RawDatabase 隻解析資料結構意味着他可以跳過損壞的系統表或者損壞的資料

例子

這個工具還在開發的早起,不過讓我展示一下使用RawDatabase能夠做什麼東西。

所有的例子都在AdventureWorks 2008R2 LT (Light Weight)資料庫上運作

擷取單個頁面

很多時候,我們隻需要解析單個頁面

解剖SQLSERVER 第十六篇 OrcaMDF RawDatabase --MDF檔案的瑞士軍刀(譯)解剖SQLSERVER 第十六篇 OrcaMDF RawDatabase --MDF檔案的瑞士軍刀(譯)

解析頁頭

現在我們擷取到頁面,我們如何把頁頭dump出來

解剖SQLSERVER 第十六篇 OrcaMDF RawDatabase --MDF檔案的瑞士軍刀(譯)解剖SQLSERVER 第十六篇 OrcaMDF RawDatabase --MDF檔案的瑞士軍刀(譯)

解析行偏移陣列

就像頁頭那樣,我們也可以把頁尾的行偏移陣列條目dump出來

解剖SQLSERVER 第十六篇 OrcaMDF RawDatabase --MDF檔案的瑞士軍刀(譯)解剖SQLSERVER 第十六篇 OrcaMDF RawDatabase --MDF檔案的瑞士軍刀(譯)

解析資料記錄

當擷取到行偏移條目的原始資料,你通常想看一下資料行記錄的内容。幸運的是,這也很容易做到

解剖SQLSERVER 第十六篇 OrcaMDF RawDatabase --MDF檔案的瑞士軍刀(譯)解剖SQLSERVER 第十六篇 OrcaMDF RawDatabase --MDF檔案的瑞士軍刀(譯)

從記錄中檢索資料

一旦你得到記錄,你現在可以利用FixedLengthData 或者 VariableLengthOffsetValues 屬性

去擷取原始的定長資料内容和變長資料内容。然而,你肯定隻想擷取到實際的已解析的資料值。

對于解析,OrcaMDF會幫你解析,你隻需要為他提供schema.

解剖SQLSERVER 第十六篇 OrcaMDF RawDatabase --MDF檔案的瑞士軍刀(譯)解剖SQLSERVER 第十六篇 OrcaMDF RawDatabase --MDF檔案的瑞士軍刀(譯)

RawColumnParser.Parse方法做的事情是 跟他一個schema,他幫你自動将raw bytes轉換為Dictionary&lt;string, object&gt;,key就是從schema 那裡擷取到的列名,

而value就是資料列的實際值,例如int,short,guid,string等等。讓你的使用者給定schema, OrcaMDF 可以跳過大量的依賴的中繼資料進行解析,是以可以忽略可能的中繼資料錯誤帶來的資料讀取失敗。

由于頁頭已經給出了 NextPageID 和 PreviousPageID屬性 ,這能夠讓軟體簡單的周遊連結清單中的所有頁面,并解析這些頁面裡面的資料 --他基本上是根據給定的allocation unit來進行掃描

過濾頁面

除非檢索一個特定的頁面,RawDatabase 也有一個頁面屬性能夠枚舉資料庫中的所有頁面。

使用這個屬性,舉個例子,擷取資料庫中所有的IAM頁面的清單

解剖SQLSERVER 第十六篇 OrcaMDF RawDatabase --MDF檔案的瑞士軍刀(譯)解剖SQLSERVER 第十六篇 OrcaMDF RawDatabase --MDF檔案的瑞士軍刀(譯)

并且由于這是使用LINQ技術,這很容易去設計你想要的屬性。

舉個例子,你可以擷取所有的 index pages 和他們的 slot counts 就像這樣:

解剖SQLSERVER 第十六篇 OrcaMDF RawDatabase --MDF檔案的瑞士軍刀(譯)解剖SQLSERVER 第十六篇 OrcaMDF RawDatabase --MDF檔案的瑞士軍刀(譯)

或者假設你想獲得如下條件的頁面

1、頁面裡面至少有一條記錄

2、free space空間至少有7000 bytes

下面是page id, free count, record count 和 平均記錄大小的輸出

解剖SQLSERVER 第十六篇 OrcaMDF RawDatabase --MDF檔案的瑞士軍刀(譯)解剖SQLSERVER 第十六篇 OrcaMDF RawDatabase --MDF檔案的瑞士軍刀(譯)

最後一個例子,,假設你隻有一個MDF檔案并且你已經忘記了有哪些對象存儲在MDF檔案裡面。

不要緊,我們隻需要查詢系統表sysschobjs !sysschobjs 系統表包含了所有對象的資料

并且幸運的是,他的object ID 是 34。利用這些資訊,我們可以把所有屬于object ID 34的資料頁面

過濾出來,并且從這些頁面裡讀取記錄并隻需要解析這個表的前兩列(你可以定義一個分部schema, 隻要你在最後忽略列)

最後我們隻需要把名稱dump出來(當然我們可以把表裡的所有列都查詢出來,如果我們想的話)

解剖SQLSERVER 第十六篇 OrcaMDF RawDatabase --MDF檔案的瑞士軍刀(譯)解剖SQLSERVER 第十六篇 OrcaMDF RawDatabase --MDF檔案的瑞士軍刀(譯)
解剖SQLSERVER 第十六篇 OrcaMDF RawDatabase --MDF檔案的瑞士軍刀(譯)解剖SQLSERVER 第十六篇 OrcaMDF RawDatabase --MDF檔案的瑞士軍刀(譯)

相容性

可以看到 RawDatabase并不依賴于中繼資料,這很容易相容多個版本的SQLSERVER。

是以,我很高興的宣布:RawDatabase 完全相容SQL Server 2005, 2008, 2008R2 , 2012.

這也有可能相容2014,不過我還未進行測試。說到測試,所有的單元測試都是自動運作的

在測試期間使用AdventureWorksLT for 2005, 2008, 2008R2 and 2012 。

現在有一些測試demo來讓OrcaMDF RawDatabase去解析AdventureWorks LT 資料庫裡面每個表的每條記錄

資料損壞

其中一個有趣的使用RawDatabase 的方法是用來附加損壞的資料庫。你可以檢索特定object id的所有頁面然後硬解析每個頁面

無論他們是否是可讀的。如果中繼資料損壞,你可以忽略他,你手工提供schema (輸入表的每個列的列名)并且隻需要沿着頁面連結清單

或者解析IAM頁面去讀取堆表裡面的資料。接下來的幾個星期我将會 寫一些關于OrcaMDF RawDatabase 的使用場景的部落格,其中包括資料損壞

源代碼和回報

我非常興奮因為最新的RawDatabase 已經添加到OrcaMDF 裡面并且我希望不單隻隻有我一個見證他的威力。

如果你也想試一試,或者有任何想法,建議或者其他回報,我都很樂意接受。

就好像OrcaMDF一樣,在GPL v3 licensed 下釋出

第十六篇完