SQL Server 海量數據導入的最快方法
更新時間:2008年12月08日 12:26:36 作者:
這篇論壇文章(賽迪網技術社區(qū))詳細講解了SQL Server海量數據導入的最快方法,更多內容請參考下文
最近做某項目的數據庫分析,要實現對海量數據的導入問題,就是最多把200萬條數據一次導入sqlserver中,如果使用普通的insert語句進行寫出的話,恐怕沒個把小時完不成任務,先是考慮使用bcp,但這是基于命令行的,對用戶來說友好性太差,實際不大可能使用;最后決定使用BULK INSERT語句實現,BULK INSERT也可以實現大數據量的導入,而且可以通過編程實現,界面可以做的非常友好,它的速度也很高:導入100萬條數據不到20秒中,在速度上恐怕無出其右者。
但是使用這種方式也有它的幾個缺點:
1.需要獨占接受數據的表
2.會產生大量的日志
3.從中取數據的文件有格式限制
但相對于它的速度來說,這些缺點都是可以克服的,而且你如果愿意犧牲一點速度的話,還可以做更精確的控制,甚至可以控制每一行的插入。
對與產生占用大量空間的日志的情況,我們可以采取在導入前動態(tài)更改數據庫的日志方式為大容量日志記錄恢復模式,這樣就不會記錄日志了,導入結束后再恢復原來的數據庫日志記錄方式。
具體的一個語句我們可以這樣寫:
alter database taxi
set RECOVERY BULK_LOGGED
BULK INSERT taxi..detail FROM 'e:\out.txt'
WITH (
DATAFILETYPE = 'char',
FIELDTERMINATOR = ',',
ROWTERMINATOR = '\n',
TABLOCK
)
alter database taxi
set RECOVERY FULL
這個語句將從e:\out.txt導出數據文件到數據庫taxi的detail表中。
但是使用這種方式也有它的幾個缺點:
1.需要獨占接受數據的表
2.會產生大量的日志
3.從中取數據的文件有格式限制
但相對于它的速度來說,這些缺點都是可以克服的,而且你如果愿意犧牲一點速度的話,還可以做更精確的控制,甚至可以控制每一行的插入。
對與產生占用大量空間的日志的情況,我們可以采取在導入前動態(tài)更改數據庫的日志方式為大容量日志記錄恢復模式,這樣就不會記錄日志了,導入結束后再恢復原來的數據庫日志記錄方式。
具體的一個語句我們可以這樣寫:
復制代碼 代碼如下:
alter database taxi
set RECOVERY BULK_LOGGED
BULK INSERT taxi..detail FROM 'e:\out.txt'
WITH (
DATAFILETYPE = 'char',
FIELDTERMINATOR = ',',
ROWTERMINATOR = '\n',
TABLOCK
)
alter database taxi
set RECOVERY FULL
這個語句將從e:\out.txt導出數據文件到數據庫taxi的detail表中。
相關文章
SQL Server2022版+SSMS下載安裝教程(保姆級)
本文主要介紹了SQL Server2022版+SSMS下載安裝教程,文中通過圖文介紹的非常詳細,對大家的學習或者工作具有一定的參考學習價值,需要的朋友們下面隨著小編來一起學習學習吧2023-10-10mssql函數DATENAME使用示例講解(取得當前年月日/一年中第幾天SQL語句)
這篇文章主要介紹了mssql函數DATENAME取得當前年月日、一年中第幾天的SQL語句2013-11-11sqlserver 動態(tài)創(chuàng)建臨時表的語句分享
開發(fā)業(yè)務需求,需要對一個表作數據分析,由于數據量較大,而且分析時字段會隨條件相應變化而變化2012-01-01深入SQL SERVER合并相關操作Union,Except,Intersect的詳解
本篇文章是對SQL SERVER合并相關操作Union,Except,Intersect進行了詳細的分析介紹,需要的朋友參考下2013-06-06SQLServer:探討EXEC與sp_executesql的區(qū)別詳解
本篇文章是對EXEC與sp_executesql的區(qū)別進行了詳細的分析介紹,需要的朋友參考下2013-06-06