基于c# Task自己動手寫個異步IO函數(shù)
前言
對于服務(wù)端,達(dá)到高性能、高擴(kuò)展離不開異步。對于客戶端,函數(shù)執(zhí)行時間是1毫秒還是100毫秒差別不大,沒必要為這一點(diǎn)點(diǎn)時間煞費(fèi)苦心。對于異步,好多人還有誤解,如: 異步就是多線程;異步就是如何利用好線程池。異步不是這么簡單,否則微軟沒必要在異步上花費(fèi)這么多心思。本文就介紹異步最新的實(shí)現(xiàn)方式:Task,并自己動手寫一個異步IO函數(shù)。只有了解了異步函數(shù)內(nèi)部實(shí)現(xiàn)方式,才能更好的利用它。
對于c#,異步處理經(jīng)過了多個階段,但是對于現(xiàn)階段異步就是Task,微軟用Task來抽象異步操作。以后的異步函數(shù),處理的都是Task。你會看到處處都是task的身影。為了處理Task,c#引入了兩個關(guān)鍵詞async,await。這兩個關(guān)鍵詞也可以說是一個關(guān)鍵詞,因?yàn)閍sync的存在是為了表明await是關(guān)鍵詞。總而言之:兩個關(guān)鍵詞干了一件事,async關(guān)鍵詞并不改變函數(shù)的聲明。
有人說await就是語法糖,不值得大書特書,我只能說你錯了。軟件開發(fā)堅持的原則為:代碼要省,代碼要清晰易懂!如果沒有語法糖,代碼的維護(hù)性大大降低。await這個語法糖做的事很多;如果不用await,處理同樣的邏輯,需要多寫很多代碼,并導(dǎo)致邏輯不清晰。
Task的分類
異步分為兩類 compute-base 和 IO-base。compute-base就是計算密集型,函數(shù)所有的操作都是在內(nèi)存中,不涉及IO;如果運(yùn)行這個函數(shù),則單個線程利用率達(dá)100%;IO-base就是涉及到IO,IO包括文件讀寫,socket讀寫;這類異步操作底層涉及到IOCP(完成端口)。相應(yīng)的,Task也分為兩類。
對于這兩個區(qū)別可以舉個例子來區(qū)分:一臺電腦為4個線程。如果同時有4個compute-base線程運(yùn)行,cpu的利用率為100%。如果同時有4個 IO-base的異步操作,cpu利用率可能遠(yuǎn)遠(yuǎn)低于100%。
對于.net 庫,有些函數(shù)會有兩個版本:一個是同步操作,一個是異步操作(函數(shù)名以Async結(jié)尾,返回值為Task)。舉個例子:
這是WebClient類獲取網(wǎng)址內(nèi)容函數(shù)。你會問DownloadStringTaskAsync是compute-base Task,還是 IO-base Task?我可以肯定的告訴你:只要是.net基本類庫提供的異步函數(shù)基本都是IO-base Task(微軟官方文檔是這樣要求)。其實(shí)這樣要求是有道理的:對于compute-base異步,比較容易封裝;再者,這樣的異步是不能大規(guī)模的并發(fā)的。如果16個線程cpu,同時并發(fā)16個這樣的異步操作就是上限了;如果再多,反而會有害!
有人說,如果基本類庫不提供 IO-base Task函數(shù),我也可以封裝一下,這個也不難?。〈a如下:
//把一個同步操作,改造成異步 public static async Task<byte[]> DownloadDataAsync(string url) { WebRequest request = WebRequest.Create(url); return await Task.Run(() => { using (var response = request.GetResponse()) using (var responseStream = response.GetResponseStream()) using (var result = new MemoryStream()) { responseStream.CopyTo(result); return result.ToArray(); } }); }
上面函數(shù)如果說是異步操作,也不錯。但是,這不是“好”的異步操作!這是異步操作中夾雜著同步IO。會導(dǎo)致線程等待。如果有100個這樣的異步操作,就需要100個線程,這些線程大部分并沒在干活,而是在等待! 對于“好”的異步IO,如果同時有100個操作,甚至幾萬個操作,使用的線程都是有限的,一般不超過cpu線程數(shù)。這是怎么實(shí)現(xiàn)的?這涉及到IOCP,說起來有些復(fù)雜,可以參考IOCP相關(guān)資料。類庫提供異步IO操作,都是涉及到IOCP的。所以得到如下結(jié)論: 如果類庫不提供IO異步函數(shù),無論怎么改造,不可能改造成“好”的異步函數(shù)!
Task實(shí)現(xiàn)的基本原理
Task變量狀態(tài)如下
狀態(tài)簡要分為生成、執(zhí)行、執(zhí)行完畢這三個階段。如果執(zhí)行完畢前獲取執(zhí)行后的值Task.Result,函數(shù)就會阻塞。那我怎么知道什么時候完成,而又不阻塞?有兩種辦法,輪詢和回調(diào)通知。Task.IsCompleted屬性會指示函數(shù)是否執(zhí)行完畢。輪詢不是一個好的辦法,采用回調(diào)通知是上策!
回調(diào)通知有個缺點(diǎn):處理邏輯不直觀,回調(diào)函數(shù)與異步調(diào)用函數(shù)不在一塊,還有可能隔著很多行代碼或不在同一個文件。如果這樣的回調(diào)函數(shù)太多,對理解代碼邏輯造成困難,代碼不易維護(hù)。微軟也考慮到了這個問題,那就用await關(guān)鍵詞來解決。await幫你處理了回調(diào)函數(shù)的弊端,其實(shí)await后面的代碼與await前面的代碼不屬于同一個函數(shù)!await后面的代碼就是回調(diào)函數(shù)!微軟確實(shí)給我們解決了這個問題,但是又帶來另一個問題。好多人不明白,明明是同一個函數(shù),怎么實(shí)現(xiàn)了等待而又不阻塞當(dāng)前線程!歸根到底,還是要理解await背后幫你干了啥,否則就會一直困惑。
要生成Task變量,只要理解幾個關(guān)鍵的處理步驟就行了。TaskCompletionSource類會幫助我們生成Task。如果IO完成,設(shè)置Task的狀態(tài)為完成就行了。后面,就會執(zhí)行回調(diào)函數(shù)(await關(guān)鍵詞幫我干了,你看不到回調(diào))!
如何寫一個IO-base Task函數(shù)?
大部分情況下不需要自己寫這樣的函數(shù)。但是,人是有好奇心的,如果不明白函數(shù)實(shí)現(xiàn)的原理,總是感覺不能釋懷!再者,明白函數(shù)實(shí)現(xiàn)原理,就能更好的利用這類函數(shù)。下面講解一下如何利用IOCP來實(shí)現(xiàn)異步函數(shù)。我沒有參考.net的源碼,只是根據(jù)邏輯推理應(yīng)該這實(shí)現(xiàn)??隙ê?net源碼實(shí)現(xiàn)有出入,我寫這些代碼主要為了闡明Task實(shí)現(xiàn)原理。
IOCP處理邏輯
對于IOCP,這里不展開來講了,否則就跑題了。以socket讀取為例子,簡單總結(jié)一下:如果你要接收100個字節(jié)的數(shù)據(jù),你告訴IOCP你要接收100個字節(jié)數(shù)據(jù),并提供100個字節(jié)的buffer,函數(shù)立即返回;數(shù)據(jù)到達(dá)后,IOCP通知你,數(shù)據(jù)到了,數(shù)據(jù)就存在你提供的buffer里。
實(shí)現(xiàn)異步IO偽代碼如下:
class AyncInside { //完成端口句柄 IntPtr iocpHandle = IntPtr.Zero; Task<byte[]> ReadFromSocket(int count) { //生成此次操作需要相關(guān)數(shù)據(jù) TaskCompletionSourceRead readInfo = new TaskCompletionSourceRead(); readInfo.Buffer = new byte[count]; //如果沒生成iocp則生成。 if (iocpHandle == IntPtr.Zero) { iocpHandle = CreateIocp(); } // 告訴iocp,要讀取count字節(jié)數(shù)據(jù)。函數(shù)不會阻塞,會立即返回 //從完成端口收到數(shù)據(jù)后,會調(diào)用ReadScoketCallback //我們把readInfo也傳給函數(shù)。當(dāng)回調(diào)時,該變量會傳給回調(diào)函數(shù)。 ReadFromIocp(iocpHandle, readInfo.Buffer, readInfo, ReadScoketCallback); return readInfo.Tcs.Task; } void ReadScoketCallback(byte[] buffer, int readCount,object tag) { //tag就是調(diào)用ReadFromIocp時,傳的readInfo //便于我們知道異步調(diào)用時的上下文數(shù)據(jù)。 TaskCompletionSourceRead readInfo = tag as TaskCompletionSourceRead; if(buffer.Length == readCount ) { //調(diào)用完SetResult后,await后面的代碼就會被執(zhí)行! readInfo.Tcs.SetResult(buffer); } else if (buffer.Length > 0) { Array.Resize(ref buffer, readCount); readInfo.Tcs.SetResult(buffer); } else { readInfo.Tcs.TrySetException(new Exception("讀取數(shù)據(jù)異常!socket可能已斷開!")); } } private void ReadFromIocp(IntPtr iocpHandle, byte[] buffer, object tag, Action<byte[] , int,object> readScoketCallback) { throw new NotImplementedException(); } private IntPtr CreateIocp() { throw new NotImplementedException(); } } //封裝異步讀取需要的數(shù)據(jù) class TaskCompletionSourceRead { public TaskCompletionSource<byte[]> Tcs { get; set; } public byte[] Buffer { get; set; } }
上述代碼與實(shí)際可使用代碼差距還很大,我在這里主要為了闡明原理。通過上面的代碼,我們可以看到,這個異步函數(shù)并沒生成新的線程;網(wǎng)卡驅(qū)動和IOCP配合,幫我們接收了數(shù)據(jù)。所以這種方式才是真正可擴(kuò)展的異步IO。
后記
異步IO和可擴(kuò)展服務(wù)緊密關(guān)聯(lián)。對于.net core平臺,你會看到很多函數(shù)都是異步的。理解和用好異步IO函數(shù)非常重要。本文通過自己對異步IO的理解,試圖通過代碼闡明異步IO實(shí)現(xiàn)原理。希望你看過此文后,能對此有更深的理解!如果此文對你有所裨益,希望您給點(diǎn)個贊!
以上就是基于c# Task自己動手寫個異步IO函數(shù)的詳細(xì)內(nèi)容,更多關(guān)于c# Task手寫異步IO函數(shù)的資料請關(guān)注腳本之家其它相關(guān)文章!
相關(guān)文章
NPOI實(shí)現(xiàn)兩級分組合并功能(示例講解)
下面小編就為大家分享一篇NPOI實(shí)現(xiàn)兩級分組合并功能的示例講解,具有很好的參考價值,希望對大家有所幫助。一起跟隨小編過來看看吧2017-12-12C#實(shí)現(xiàn)狀態(tài)欄提示信息功能的示例
今天小編就為大家分享一篇C#實(shí)現(xiàn)狀態(tài)欄提示信息功能的示例,具有很好的參考價值,希望對大家有所幫助。一起跟隨小編過來看看吧2019-06-06淺析C#中的Main(String[] args)參數(shù)輸入問題
本篇文章主要是對C#中的Main(String[] args)參數(shù)輸入問題進(jìn)行了詳細(xì)的介紹,需要的朋友可以過來參考下,希望對大家有所幫助2014-01-01C#使用log4net結(jié)合sqlite數(shù)據(jù)庫實(shí)現(xiàn)記錄日志
因?yàn)榻Y(jié)構(gòu)化的數(shù)據(jù)庫存儲的日志信息,可以寫專門的軟件讀取歷史日志信息,通過各種條件篩選,可操作性極大增強(qiáng),有這方面需求的開發(fā)人員可以考慮,本文給大家介紹了C#使用log4net結(jié)合sqlite數(shù)據(jù)庫記錄日志,需要的朋友可以參考下2024-10-10DevExpress之TreeList用法實(shí)例總結(jié)
這篇文章主要介紹了DevExpress之TreeList用法,對于C#初學(xué)者有一定的借鑒價值,需要的朋友可以參考下2014-08-08c# Form中的鍵盤響應(yīng)具體實(shí)現(xiàn)思路
在全屏Form中加上鍵盤ESC的響應(yīng),實(shí)現(xiàn)的效果就是:全屏中press鍵盤上的Escape鍵,程序結(jié)束,具體實(shí)現(xiàn)步驟如下,感興趣的朋友可以參考下哈2013-06-06C#基于Twain協(xié)議調(diào)用掃描儀,設(shè)置多圖像輸出模式(Multi image output)
這篇文章主要介紹了C#基于Twain協(xié)議調(diào)用掃描儀,設(shè)置多圖像輸出模式(Multi image output)的方法,幫助大家更好的理解和使用c#,感興趣的朋友可以了解下2021-01-01