最近做某項(xiàng)目的數(shù)據(jù)庫分析，要實(shí)現(xiàn)對(duì)海量數(shù)據(jù)的導(dǎo)入問題，就是最多把200萬條數(shù)據(jù)一次導(dǎo)入sqlserver中，如果使用普通的insert語句進(jìn)行寫出的話，恐怕沒個(gè)把小時(shí)完不成任務(wù)，先是考慮使用bcp，但這是基于命令行的，對(duì)用戶來說友好性太差，實(shí)際不大可能使用；最后決定使用BULK INSERT語句實(shí)現(xiàn)，BULK INSERT也可以實(shí)現(xiàn)大數(shù)據(jù)量的導(dǎo)入，而且可以通過編程實(shí)現(xiàn)，界面可以做的非常友好，它的速度也很高：導(dǎo)入100萬條數(shù)據(jù)不到20秒中，在速度上恐怕無出其右者。
但是使用這種方式也有它的幾個(gè)缺點(diǎn)：
1.需要獨(dú)占接受數(shù)據(jù)的表
2.會(huì)產(chǎn)生大量的日志
3.從中取數(shù)據(jù)的文件有格式限制
但相對(duì)于它的速度來說，這些缺點(diǎn)都是可以克服的，而且你如果愿意犧牲一點(diǎn)速度的話，還可以做更精確的控制，甚至可以控制每一行的插入。
對(duì)與產(chǎn)生占用大量空間的日志的情況，我們可以采取在導(dǎo)入前動(dòng)態(tài)更改數(shù)據(jù)庫的日志方式為大容量日志記錄恢復(fù)模式，這樣就不會(huì)記錄日志了，導(dǎo)入結(jié)束后再恢復(fù)原來的數(shù)據(jù)庫日志記錄方式。
具體的一個(gè)語句我們可以這樣寫： 

這個(gè)語句將從e:\out.txt導(dǎo)出數(shù)據(jù)文件到數(shù)據(jù)庫taxi的detail表中。

最新評(píng)論