TensorFlow.js 微信小程序插件開始支持模型緩存的方法
通常情況下,微信小程序追求的是短小精悍,即開即用,用完即走,適用于一些簡單的應(yīng)用場景。然而,隨著微信小程序開放能力的提高,人們發(fā)現(xiàn)用微信小程序可以實現(xiàn)越來越多的功能,小程序也越來越復(fù)雜,越來越龐大起來。這個可以從小程序的大小限制的變化看出,最開始小程序的大小限制為1M,后來限制為2M,最新微信又給小程序提供了分包加載機制,開發(fā)者將小程序劃分成不同的子包,用戶在使用時按需進行加載,所有分包大小限制提高到8M。
雖然小程序的大小限制已經(jīng)大大提升,但對于小程序開發(fā)者而言,仍然捉襟見肘。隨便幾個圖片資源、js庫就可能導(dǎo)致小程序超重,尤其對于人工智能小程序而言,更是如此。現(xiàn)在的深度學(xué)習(xí)模型,動輒幾十M,多則一兩百M。這個時候開發(fā)人員就需要進行取舍,選擇那些模型規(guī)模小,但精度不那么高的模型。比如圖片分類,我們就不要選擇Inception V3或ResNet之類的超大規(guī)模模型,而是選擇針對移動設(shè)備優(yōu)化的MobileNet,也能取得不錯的效果。
不過即使是MobileNet,其模型大小也有好幾M,對于精簡小程序大小仍是一個很大的負擔(dān)。一種解決方案是從網(wǎng)絡(luò)加載模型,不增加小程序的體積,但這并不是一個完美的解決方案,畢竟每次推導(dǎo)都需要從網(wǎng)絡(luò)下載模型,會有一定的網(wǎng)絡(luò)延遲。在前端開發(fā)中,為了保持系統(tǒng)的流暢,通常會采用一些緩存技巧來避免每次從網(wǎng)絡(luò)加載圖片、JS等文件。那能否將模型也作為資源緩存起來呢?
Google團隊顯然也意識到了這種需求,先是在TensorFlow.js中增加了對tfjs模型緩存的支持。最近,TensorFlow.js 微信小程序插件也得到了更新,支持微信小程序模型緩存。
模型緩存利用了微信小程序的storage接口,需要注意微信小程序?qū)torage的限制:同一個微信用戶,同一個小程序 storage 上限為 10MB。storage 以用戶維度隔離,同一臺設(shè)備上,A 用戶無法讀取到 B 用戶的數(shù)據(jù);不同小程序之間也無法互相讀寫數(shù)據(jù)。所以我們只能選用小于10M的模型。
啟用模型緩存也非常簡單,步驟如下:
修改app.json文件,將tfjsPlugin的版本修改為0.0.8.
"plugins": {
"tfjsPlugin": {
"version": "0.0.8",
"provider": "wx6afed118d9e81df9"
}
}
在app.js中提供localStorageHandler函數(shù).
var fetchWechat = require('fetch-wechat');
var tf = require('@tensorflow/tfjs-core');
var plugin = requirePlugin('tfjsPlugin');
//app.js
App({
// expose localStorage handler
globalData: {localStorageIO: plugin.localStorageIO},
...
});
在模型加載時加入localStorageHandler邏輯。
const LOCAL_STORAGE_KEY = 'mobilenet_model';
export class MobileNet {
private model: tfc.GraphModel;
constructor() { }
async load() {
const localStorageHandler = getApp().globalData.localStorageIO(LOCAL_STORAGE_KEY);
try {
this.model = await tfc.loadGraphModel(localStorageHandler);
} catch (e) {
this.model =
await tfc.loadGraphModel(MODEL_URL);
this.model.save(localStorageHandler);
}
}
和瀏覽器緩存機制有點不同的是,只有在代碼包被清理的時候本地緩存才會被清理。如果需要處理緩存,可以通過 wx.setStorage/wx.setStorageSync、wx.getStorage/wx.getStorageSync、wx.clearStorage/wx.clearStorageSync,wx.removeStorage/wx.removeStorageSync 對本地緩存進行讀寫和清理。
另外需要注意的是,當前tfjs模型托管在tfhub上,需要翻墻訪問。項目中的說明文件也提及了這個問題,給出了解決方案,但那是針對以前托管在谷歌云上的模型,建立了中國國內(nèi)用戶可以訪問到的鏡像。耐心等待吧,相信Google的開發(fā)人員會解決tfhub的鏡像問題的。
以上就是TensorFlow.js 微信小程序插件開始支持模型緩存的方法的詳細內(nèi)容,更多關(guān)于TensorFlow小程序支持模型緩存請關(guān)注腳本之家其它相關(guān)文章!
通過JS來動態(tài)的修改url,實現(xiàn)對url的增刪查改
javascript實現(xiàn)頁面內(nèi)關(guān)鍵詞高亮顯示代碼
JavaScript中的this/call/apply/bind的使用及區(qū)別
JavaScript中Array.from()的用法總結(jié)
全面解析Bootstrap中transition、affix的使用方法

