最近在論壇看到有人問,如何快速生成100萬不重複的8位編号,對于這個問題,有幾點是需要注意的:
1. 如何生成8位随機數,生成的數越随機,重複的可能性當然越小
2. 控制不重複
3. 考慮性能
針對這個問題,我寫了如下的示例來解決,希望能為有這類需求的人提供指導
生成100萬條8位不重複資料的示例
USE tempdb
GO
-- 建立測試表
CREATE TABLE tb(id char(8))
-- 建立用于自動過濾重複值的唯一索引
CREATE UNIQUE INDEX IX_tb ON tb(id)
WITH IGNORE_DUP_KEY
-- 測試資料插入的處理時間, 記錄開始處理的時間點
DECLARE @dt datetime
SET @dt = GETDATE()
-- 插入随機資料
SET NOCOUNT ON
DECLARE @row int
SET @row = 1000000 -- 設定總記錄數
WHILE @row >0
BEGIN
-- 顯示提示資訊, 表示還需要插入多行資料
RAISERROR('need %d rows', 10, 1, @row) WITH NOWAIT
-- 插入随機的位編碼資料
SET ROWCOUNT @row
INSERT tb SELECT
id = RIGHT(100000000 + CONVERT(bigint, ABS(CHECKSUM(NEWID()))), 8)
FROM syscolumns c1, syscolumns c2
SET @row = @row - @@ROWCOUNT
END
-- 顯示插入資料使用的時間
SELECT BeginDate = @dt, EndDate = GETDATE(),
Second = DATEDIFF(Second, @dt, GETDATE()),
-- 顯示最終的結果記錄是否正确
SELECT COUNT(*) FROM tb
-- 删除測試
DROP TABLE tb
解決中用到的技巧:
1. 控制産生的資料不重複,直接使用唯一索引中的 IGNORE_DUP_KEY 選項,使插入資料中的重複值自動過濾,避免手工處理重複
2. 使用 CHECKSUM 配合 NEWID() 函數,使生成的資料盡量随機,一般生成随機數會考慮使用 RAND() 函數,但這個函數是産生僞随機值,用下面的語句測試一下,會發現産生的資料全部是一樣的,這不适用于想批量生成多個随機數,而NEWID() 函數生成的是GUID,基本上不會有重複的,再通過CHECKSUM将其轉化成數字,這樣産生重複的可能性會比較小
SELECT TOP 10
RAND()
FROM sysobjects
3. 在效率控制,使用循環+批量生成的方式,而不是傳統的逐個生成。在SQL Server中,每個插入語句都會有一個内部的事務處理,如果逐條插入,則事務的開銷太大,效率勢必非常低;不考慮一次性生成100萬資料,一則因為生成的資料可能有重複的,去掉重複就沒有100萬了,二則一次性生成100萬資料,消耗的記憶體和CPU資源也很高,一般的電腦可能承受不住.