SQL SERVER 刪除重復(fù)內(nèi)容行
更新時間:2009年08月05日 23:10:13 作者:
剛解決的小問題,之前也解決過類似的問題,但這次還設(shè)計到用SQL語句加一列,平時不常用這種命令,還是記錄一下吧。
對于重復(fù)行刪除的問題,網(wǎng)上很難找到合適的答案,問問題的不少,但在搜索引擎中草草地看了一下前面的記錄都沒有解決方案。
其實這個問題可以很華麗的解決。
1、如果這張表沒有主鍵(或者相同的行并沒有不相同的內(nèi)容列),則需要新建一個自增列,用來區(qū)分不同列。例如
alter table [tablename] add [TID] int IDENTITY(1,1)
就是增加一個自增量的臨時列TID。
為啥要用SQL語句?如果超過幾十萬行的話用SQL SERVER企業(yè)管理器的設(shè)計界面修改通常會超時。
2、然后就是關(guān)鍵了。給個例子就是我手上正要處理的IP地址所在地清單。近40萬條數(shù)據(jù),有SIP和EIP(開始IP和結(jié)束IP)記錄重復(fù),重復(fù)條數(shù)大概占1/5左右。對此情況用簡單的一條SQL命令就搞定:
delete from query_IP where TID not in (select max(TID) from query_IP group by SIP,EIP)
就是將SIP和EIP分組,取得同樣分組的最大的TID值。然后將原表中不在其中的內(nèi)容(也就是同樣分組的重復(fù)內(nèi)容中更小的ID內(nèi)容)刪除即可。
用這種思路可以延伸出很多SQL解題的方式。比如說某個用戶登陸表,要查看每個用戶最近的登陸記錄。
很優(yōu)雅的一條查詢語句:
Select * from LoginLog where ID in (select max(ID) from LoginLog group by UserID)
SQL強大之極,許多復(fù)雜的需求往往可以合并到一條SQL語句查詢中實現(xiàn)。因此在我的程序中除了UPDATE/INSERT等操作需要事務(wù)支持,或是記錄量實在太大需要分頁或臨時表。通常都用一條SQL語句來實現(xiàn)。比如說select *,(select count(*) from xxx where xxx=t.ID) from t where...。這樣就可以在SELECT語句中獲取關(guān)聯(lián)的統(tǒng)計項,對于中小型系統(tǒng)尤其實用。
其實這個問題可以很華麗的解決。
1、如果這張表沒有主鍵(或者相同的行并沒有不相同的內(nèi)容列),則需要新建一個自增列,用來區(qū)分不同列。例如
復(fù)制代碼 代碼如下:
alter table [tablename] add [TID] int IDENTITY(1,1)
就是增加一個自增量的臨時列TID。
為啥要用SQL語句?如果超過幾十萬行的話用SQL SERVER企業(yè)管理器的設(shè)計界面修改通常會超時。
2、然后就是關(guān)鍵了。給個例子就是我手上正要處理的IP地址所在地清單。近40萬條數(shù)據(jù),有SIP和EIP(開始IP和結(jié)束IP)記錄重復(fù),重復(fù)條數(shù)大概占1/5左右。對此情況用簡單的一條SQL命令就搞定:
復(fù)制代碼 代碼如下:
delete from query_IP where TID not in (select max(TID) from query_IP group by SIP,EIP)
就是將SIP和EIP分組,取得同樣分組的最大的TID值。然后將原表中不在其中的內(nèi)容(也就是同樣分組的重復(fù)內(nèi)容中更小的ID內(nèi)容)刪除即可。
用這種思路可以延伸出很多SQL解題的方式。比如說某個用戶登陸表,要查看每個用戶最近的登陸記錄。
很優(yōu)雅的一條查詢語句:
復(fù)制代碼 代碼如下:
Select * from LoginLog where ID in (select max(ID) from LoginLog group by UserID)
SQL強大之極,許多復(fù)雜的需求往往可以合并到一條SQL語句查詢中實現(xiàn)。因此在我的程序中除了UPDATE/INSERT等操作需要事務(wù)支持,或是記錄量實在太大需要分頁或臨時表。通常都用一條SQL語句來實現(xiàn)。比如說select *,(select count(*) from xxx where xxx=t.ID) from t where...。這樣就可以在SELECT語句中獲取關(guān)聯(lián)的統(tǒng)計項,對于中小型系統(tǒng)尤其實用。
您可能感興趣的文章:
- SQL Server數(shù)據(jù)庫刪除數(shù)據(jù)集中重復(fù)數(shù)據(jù)實例講解
- Sql Server里刪除數(shù)據(jù)表中重復(fù)記錄的例子
- SQL Server中刪除重復(fù)數(shù)據(jù)的幾個方法
- SqlServer2005中使用row_number()在一個查詢中刪除重復(fù)記錄的方法
- SQL Server2008中刪除重復(fù)記錄的方法分享
- 分享SQL Server刪除重復(fù)行的6個方法
- sqlserver 刪除重復(fù)記錄處理(轉(zhuǎn))
- SqlServer 2005中使用row_number()在一個查詢中刪除重復(fù)記錄
- 教你幾種在SQLServer中刪除重復(fù)數(shù)據(jù)方法
- SQL Server刪除表中的重復(fù)數(shù)據(jù)
相關(guān)文章
深入SQL SERVER合并相關(guān)操作Union,Except,Intersect的詳解
本篇文章是對SQL SERVER合并相關(guān)操作Union,Except,Intersect進行了詳細的分析介紹,需要的朋友參考下2013-06-06mssql 30萬條數(shù)據(jù) 搜索文本字段的各種方式對比
30萬條,有ID列但無主鍵,在要搜索的“分類”字段上建有非聚集索引2010-04-04ROW_NUMBER SQL Server 2005的LIMIT功能實現(xiàn)(ROW_NUMBER()排序函數(shù))
SQL Server 2005新增了一個ROW_NUMBER()函數(shù),通過它可實現(xiàn)類似MySQL下的LIMIT功能。下面的語法說明摘自SQL Server 2005的幫助文件2012-06-06SQL SERVER 將XML變量轉(zhuǎn)為JSON文本
這篇文章主要介紹了SQL SERVER 將XML變量轉(zhuǎn)為JSON文本的相關(guān)資料,需要的朋友可以參考下2016-03-03SQL語句的各個關(guān)鍵字的解析過程詳細總結(jié)
由于最近需要做一些sql query性能提升的研究,因此研究了一下sql語句的解析過程;本文是我在看了各種資料后手機總結(jié)的,會詳細的,一步一步的講述一個sql語句的各個關(guān)鍵字的解析過程,歡迎大家互相學(xué)習(xí)2013-01-01