天天看點

sql server I/O硬碟互動

原文: sql server I/O硬碟互動

一. 概述

 sql server作為關系型資料庫,需要進行資料存儲, 那在運作中就會不斷的與硬碟進行讀寫互動。如果讀寫不能正确快速的完成,就會出現性能問題以及資料庫損壞問題。下面講講引起I/O的産生,以及分析優化。

二.sql server  主要磁盤讀寫的行為

  2.1  從資料檔案(.mdf)裡, 讀入新資料頁到記憶體。前頁講述記憶體時我們知道,如果想要的資料不在記憶體中時,就會從硬碟的資料檔案裡以頁面為最小機關,讀取到記憶體中,還包括預讀的資料。 當記憶體中存在,就不會去磁盤讀取資料。足夠的記憶體可以最小化磁盤I/O,因為磁盤的速度遠慢于記憶體。

  2.2  預寫日志系統(WAL),向日志檔案(.ldf)寫入增删改的日志記錄。 用來維護資料事務的ACID。

  2.3  Checkpoint 檢查點發生時,将髒頁資料寫入到資料檔案 ,在sp_configure的recovery interval 控制着sql server多長時間進行一次Checkpoint, 如果經常做Checkpoint,那每次産生的硬碟寫就不會太多,對硬碟沖擊不會太大。如果隔長時間一次Checkpoint,不做Checkpoint時性能可能會比較快,但累積了大量的修改,可能要産生大量的寫,這時性能會受影響。在絕大多資料情況下,預設設定是比較好的,沒必要去修改。

  2.4   記憶體不足時,Lazy Write發生,會将緩沖區中修改過的資料頁面同步到硬碟的資料檔案中。由于記憶體的空間不足觸發了Lazy Write, 主動将記憶體中很久沒有使用過的資料頁和執行計劃清空。Lazy Write一般不被經常調用。

  2.5   CheckDB,  索引維護,全文索引,統計資訊,備份資料,高可用同步日志等。

三. 磁盤讀寫的相關分析

  3.1 sys.dm_io_virtual_file_stats  擷取資料檔案和日志檔案的I/O 統計資訊。該函數從sql server 2008開始,替換動态管理視圖fn_virtualfilestats函數。 哪些檔案經常要做讀num_of_reads,哪些經常要做寫num_of_writes,哪些讀寫經常要等待io_stall_*。為了擷取有意義的資料,需要在短時間内對這些資料進行快照,然後将它們同基線資料相比較。

SELECT  DB_NAME(database_id) AS 'Database Name',
        file_id,
        io_stall_read_ms / num_of_reads AS 'Avg Read Transfer/ms',
        io_stall_write_ms / num_of_writes AS 'Avg Write Transfer/ms'
FROM    sys.dm_io_virtual_file_stats(null, null)
WHERE   num_of_reads > 0 AND num_of_writes > 0       

  io_stall_read_ms:使用者等待檔案,發出讀取所用的總時間(毫秒)。

  io_stall_write: 使用者等待在該檔案中完成寫入所用的總時間毫秒。

sql server I/O硬碟互動

  3.2  windows 性能計數器:  Avg. Disk Sec/Read 這個計數器是指每秒從磁盤讀取資料的平均值

< 10 ms - 非常好

 10 ~ 20 ms 之間- 還可以

 20 ~50 ms 之間- 慢,需要關注

> 50 ms –嚴重的 I/O 瓶頸

  3.4  I/O  實體記憶體讀取次數最多的前50條

SELECT TOP 50
 qs.total_physical_reads,qs.execution_count,
 qs.total_physical_reads/qs.execution_count AS [avg I/O],
 qs. creation_time,
 qs.max_elapsed_time,
 qs.min_elapsed_time,
 SUBSTRING(qt.text,qs.statement_start_offset/2,
 (CASE WHEN qs.statement_end_offset=-1
 THEN LEN(CONVERT(NVARCHAR(max),qt.text))*2
 ELSE qs.statement_end_offset END -qs.statement_start_offset)/2) AS query_text,
 qt.dbid,dbname=DB_NAME(qt.dbid),
 qt.objectid,
 qs.sql_handle,
 qs.plan_handle
 from sys.dm_exec_query_stats qs
 CROSS APPLY sys.dm_exec_sql_text(qs.sql_handle) AS qt
 ORDER BY qs.total_physical_reads DESC      

 3.5 使用sp_spaceused檢視表的磁盤空間

  exec sp_spaceused 'table_xx'      
sql server I/O硬碟互動

reserved:保留的空間總量

data:資料使用的空間總量

index_size:索引使用空間

Unused: 未用的空間量

 3.6  監測I/0運作狀态 STATISTICS IO ON;

 四  磁盤讀寫瓶頸的症狀

  4.1  errorlog裡報告錯誤 833

  4.2  sys.dm_os_wait_stats 視圖裡有大量等待狀态PAGEIOLATCH_* 或 WriteLog。當資料在緩沖區裡沒有找到,連接配接的等待狀态就是PAGEIOLACTH_EX(寫) PAGEIOLATCH_SH(讀),然後發起異步操作,将頁面讀入緩沖區中。像 waiting_tasks_count和wait_time_ms比較高的時候,經常要等待I/O,除在反映在資料檔案上以外,還有writelog的日志檔案上。想要獲得有意義資料,需要做基線資料,檢視感興趣的時間間隔。

select wait_type,
waiting_tasks_count,
wait_time_ms ,
max_wait_time_ms,
signal_wait_time_ms
from sys.dm_os_wait_stats
where wait_type like 'PAGEIOLATCH%' 
order by wait_type      

  wait_type:等待類型

  waiting_tasks_count:該等待類型的等待數

  wait_time_ms:該等待類型的總等待時間(包括一個程序懸挂狀态(Suspend)和可運作狀态(Runnable)花費的總時間)

  max_wait_time_ms:該等待類型的最長等待時間

  signal_wait_time_ms:正在等待的線程從收到信号通知到其開始運作之間的時差(一個程序可運作狀态Runnable花費的總時間)

  i/o等待時間==wait_time_ms - signal_wait_time_ms

   五  優化磁盤I/O

   5.1 資料檔案裡頁面碎片整理。 當表發生增删改操作時索引都會産生碎片(索引葉級的頁拆分),碎片是指索引上的頁不再具有實體連續性時,就會産生碎片。比如你查詢10條資料,碎片少時,可能隻掃描2個頁,但碎片多時可能要掃描更多頁(後面講索引時在細說)。

   5.2 表格上的索引。比如:建議每個表都包含聚集索引,這是因為資料存儲分為堆和B-Tree, 按B-Tree空間占用率更高。 充分使用索引減少對I/0的需求。

   5.3 資料檔案,日志檔案,TempDB檔案建議存放不同實體磁盤,日志檔案放寫入速度比較快的磁盤上,例如 RAID 10的分區

        5.4 檔案空間管理,設定資料庫增長時要按固定大小增長,而不能按比例,這樣避免一次增長太多或太少所帶來的不必要麻煩。建議對比較小的資料庫設定一次增長50MB到100MB。下圖顯示如果按5%來增長近10G, 如果有一個應用程式在嘗試插入一行,但是沒有空間可用。那麼資料庫可能會開始增長一個近10G, 檔案的增長可能會耗用太長的時間,以至于用戶端程式插入查詢失敗。

  

sql server I/O硬碟互動

       5.5 避免自動收縮檔案,如果設定了此功能,sql server會每隔半小時檢查檔案的使用,如果空閑空間>25%,會自動運作dbcc shrinkfile 動作。自動收縮線程的會話ID SPID總是6(以後可能有變) 如下顯示自動收縮為False。

sql server I/O硬碟互動

     

sql server I/O硬碟互動

   5.6 如果資料庫的恢複模式是:完整。 就需要定期做日志備份,避免日志檔案無限的增長,用于磁盤空間。