0x00 前言

最近看了 Milter 的《算法工程師究竟需要哪些工程能力》這篇文章，有所感想，因此也寫一篇關(guān)于算法工程師的技術(shù)能力的問(wèn)題，和大家分享一下居士關(guān)于算法工程師的技術(shù)能力的觀點(diǎn)。

對(duì)于一名優(yōu)秀的算法工程師，他（她）要具備的不僅僅是出色的技術(shù)能力，也要有很深的業(yè)務(wù)理解能力和對(duì)外溝通能力，總之，要求可以很高！

但是，從職責(zé)能力的劃分上來(lái)講，算法工程師首先是一名工程師，因此本文主要從工程能力要求上進(jìn)行一些探討。

開(kāi)始之前先放一份思維導(dǎo)圖，這將是這篇文章要分享的核心內(nèi)容：

0x01 工程能力概覽

算法工程師，從名字上我們就能看出，一名算法工程師首先應(yīng)該具備算法能力和工程能力，我們可以認(rèn)為這是基礎(chǔ)的技術(shù)能力。由于現(xiàn)在開(kāi)源技術(shù)的普及，Sklearn、Tensorflow 和 Spark ML 基本已經(jīng)成為大部分算法工程師標(biāo)配的工具庫(kù)了，因此，熟練的調(diào)包能力也是決定了一名算法工程師能否快速實(shí)現(xiàn)需求。

其次，在真實(shí)的生產(chǎn)環(huán)境中，算法的落地會(huì)遇到各種各樣的業(yè)務(wù)場(chǎng)景和數(shù)據(jù)環(huán)境，這也要求算法工程師需要具備Pipeline 構(gòu)建能力，將整個(gè)生產(chǎn)環(huán)境中的數(shù)據(jù)流和模型打通。同時(shí)，在生產(chǎn)環(huán)境中，會(huì)出現(xiàn)各種“疑難雜癥”等待你去解釋，比如說(shuō)為什么實(shí)驗(yàn)效果特別差？為什么模型效果不穩(wěn)定？這就要要求算法工程師需要具備一定的數(shù)據(jù)分析能力。

很多時(shí)候，你會(huì)發(fā)現(xiàn)，你用在數(shù)據(jù)分析和Pipeline構(gòu)建上的精力可能占據(jù)了你8成以上的工作內(nèi)容。

當(dāng)你具備了上面的能力時(shí)，你已經(jīng)可以稱自己是一名算法工程師了。此時(shí)，你可以去對(duì)著數(shù)據(jù)分析小得瑟一下：“你看，我能構(gòu)建整個(gè)模型的Pipeline，你卻只能拿到別人提供的數(shù)據(jù)后調(diào)調(diào)包吧。“或者，你也可以去找開(kāi)發(fā)得瑟：”你看，我懂了很多算法哦，你就只會(huì)寫代碼吧。“

得瑟完之后，我們還是回歸正題，算法工程師只具備這樣能力是否已經(jīng)夠了？答案當(dāng)然是不夠的。由于不同公司的團(tuán)隊(duì)成熟度不同，工具化和流程的成熟度都不同，這就會(huì)對(duì)算法工程師有不同的要求，比如說(shuō)模型發(fā)布能力和報(bào)表開(kāi)發(fā)能力，當(dāng)然也會(huì)有一些其它能力，雖然可能不是特別重要，但是當(dāng)這些工作沒(méi)人幫你做的時(shí)候，算法工程師可能依然要承擔(dān)起這些工作內(nèi)容，比如說(shuō)灰度測(cè)試的能力、負(fù)載均衡的能力等等。

將上面的內(nèi)容整理后，就是這樣一份思維導(dǎo)圖了（一張圖多看幾篇更能加深印象，因此我再貼出來(lái)一遍）

0x02 工程能力詳解

一、基礎(chǔ)能力算法能力

算法能力就不多說(shuō)了，算法工程師的基本能力要求，不懂算法對(duì)于一名算法工程師來(lái)講是不太合理的。這里居士把統(tǒng)計(jì)學(xué)的內(nèi)容也放進(jìn)來(lái)了。

編程能力

編程能力主要分為兩部分：

• Python、C++、Java這類編程語(yǔ)言，這三種也是算法工程師需要了解的主流編程語(yǔ)言，一般掌握其一就夠，看不同公司。
• Sql就是很通用的能力了，Sql也是一門編程語(yǔ)言，而是是數(shù)據(jù)處理最常用的語(yǔ)言！

很好用。

大數(shù)據(jù)場(chǎng)景下，要了解Hive Sql。

調(diào)包能力

大家雖然會(huì)調(diào)侃調(diào)包俠，但是說(shuō)實(shí)話，能調(diào)包調(diào)的很溜的人，也是不多的，比如說(shuō)現(xiàn)在讓你自己用tensorflow構(gòu)建一個(gè)復(fù)雜網(wǎng)絡(luò)，不能google，你能寫出來(lái)嗎？能記清楚用法嗎？

• Sklearn
• Tensorflow
• Spark ML

二、核心能力

Pipeline 構(gòu)建能力

Pipeline構(gòu)建能力，這里想表達(dá)的更多的是整個(gè)數(shù)據(jù)流的構(gòu)建能力，數(shù)據(jù)從日志->特征->模型訓(xùn)練->反饋，這一個(gè)鏈條能否完成的能力，這里面會(huì)有很多難題需要克服。比如說(shuō)：

1. 實(shí)時(shí)和離線模型一致性問(wèn)題？
2. 離線和實(shí)時(shí)特征一致性問(wèn)題？
3. 實(shí)時(shí)特征構(gòu)建的問(wèn)題？
4. 數(shù)據(jù)延遲的問(wèn)題？

很多時(shí)候，模型發(fā)布之類的工作是可以由其他同學(xué)支持完成，但是數(shù)據(jù)流這種問(wèn)題更多的是需要算法工程師來(lái)解決的。

數(shù)據(jù)分析能力

這里的數(shù)據(jù)分析能力不是指商業(yè)分析或者業(yè)務(wù)分析，更多的是指特征分析、算法效果分析和各種異常問(wèn)題定位分析的能力。

很多時(shí)候，兩個(gè)算法工程師能力水平的強(qiáng)弱從數(shù)據(jù)分析能力上也能窺得一二。

三、輔助技術(shù)能力

輔助的技術(shù)能力是指，你會(huì)不會(huì)的影響不會(huì)特別大，但是也都是有用的能力，特別是不同公司的發(fā)展情況不同，很可能會(huì)出現(xiàn)一個(gè)算法工程師既要做數(shù)據(jù)接入、又要做數(shù)據(jù)清洗、還要做算法平臺(tái)
也要搞前端、還要負(fù)責(zé)模型上線、系統(tǒng)運(yùn)維。

這里就不再細(xì)講了。

0x03 思考一

聊一下對(duì)技術(shù)能力、工程能力和數(shù)據(jù)分析的思考。

居士個(gè)人的理解，技術(shù)能力更多的是偏向于一個(gè)一個(gè)的技術(shù)點(diǎn)，而工程能力更多就是在一個(gè)團(tuán)隊(duì)中將項(xiàng)目做好的能力。很多算法出身的工程能力不行，那么他做的單純的一個(gè)模型是無(wú)法應(yīng)用到實(shí)際生產(chǎn)中的，而工程就是指把理論落地實(shí)際生產(chǎn)的過(guò)程。那么工程包含了什么？它包括了系統(tǒng)架構(gòu)設(shè)計(jì)和模塊設(shè)計(jì)、數(shù)據(jù)流搭建和平臺(tái)搭建、調(diào)包或算法開(kāi)發(fā)、分布式、上線以及各種落地的代碼開(kāi)發(fā)。報(bào)表和監(jiān)控，其實(shí)本質(zhì)也是做數(shù)據(jù)流，邊緣性的可能要做些后臺(tái)和前端的開(kāi)發(fā)。

然后數(shù)據(jù)分析能力是什么？數(shù)據(jù)分析（不是純粹的數(shù)據(jù)分析）除了分析方法論和套路外，是一個(gè)很綜合性、相對(duì)偏軟一點(diǎn)的能力，比如說(shuō)你通過(guò)分析發(fā)現(xiàn)了我們的系統(tǒng)有哪些可以優(yōu)化的點(diǎn)，通過(guò)分析發(fā)現(xiàn)了問(wèn)題的原因是什么，這些都是分析能力。

0x04 思考二

針對(duì)前面的內(nèi)容，和 Cathy 討論后，對(duì)整個(gè)思路做了新的梳理，大家直接看圖就好，居士也認(rèn)為這樣描述可能更為合理。

0x05 思考三

這里再補(bǔ)充一個(gè)模型復(fù)現(xiàn)的能力，比如你看了一篇論文，發(fā)現(xiàn)這個(gè)模型可能很適合自己的業(yè)務(wù)場(chǎng)景，那么你是否能力將論文里面的模型快速用公司現(xiàn)有的平臺(tái)和工具來(lái)復(fù)現(xiàn)？

居士認(rèn)為，這一個(gè)是一個(gè)非常重要的能力，但是沒(méi)有想好具體該怎樣劃分。

0xFF 總結(jié)

本篇文章最初是參考 Milter 在簡(jiǎn)書發(fā)表的 《算法工程師究竟需要哪些工程能力》，隨后和 Japson 進(jìn)行了一些討論。最后再被 Cathy 挑出眾多思路和表述的問(wèn)題后才完成。

那么，讀到最后的你，認(rèn)為算法工程師應(yīng)該具備哪些工程能力呢？

以上就是本文的全部?jī)?nèi)容，希望對(duì)大家的學(xué)習(xí)有所幫助，也希望大家多多支持腳本之家。

最新評(píng)論