摘要：近幾年來(lái)，由于其作為機(jī)器學(xué)習(xí)模型的使用已成倍增長(zhǎng)，所以移動(dòng)設(shè)備和嵌入式設(shè)備也出現(xiàn)了部署需求。使機(jī)器學(xué)習(xí)模型設(shè)備能夠?qū)崿F(xiàn)低延遲的推理。設(shè)計(jì)初衷輕量級(jí)允許在具有很小的二進(jìn)制大小和快速初始化啟動(dòng)的機(jī)器學(xué)習(xí)模型設(shè)備上進(jìn)行推理。

谷歌今天終于發(fā)布了TensorFlow Lite 的開(kāi)發(fā)者預(yù)覽！該項(xiàng)目是在5月份的I/O開(kāi)發(fā)者大會(huì)上宣布的，據(jù)Google網(wǎng)站描述，對(duì)移動(dòng)和嵌入式設(shè)備來(lái)說(shuō)，TensorFlow是一種輕量級(jí)的解決方案，支持多平臺(tái)運(yùn)行，從機(jī)架式服務(wù)器到微小的物聯(lián)網(wǎng)設(shè)備。近幾年來(lái)，由于其作為機(jī)器學(xué)習(xí)模型的使用已成倍增長(zhǎng)，所以移動(dòng)設(shè)備和嵌入式設(shè)備也出現(xiàn)了部署需求。Tensorflow Lite使機(jī)器學(xué)習(xí)模型設(shè)備能夠?qū)崿F(xiàn)低延遲的推理。

在本文中，Google展示了TensorFlow Lite的框架構(gòu)成以及一些功能特性。

TensorFlow Lite設(shè)計(jì)初衷

輕量級(jí)：允許在具有很小的二進(jìn)制大小和快速初始化/啟動(dòng)的機(jī)器學(xué)習(xí)模型設(shè)備上進(jìn)行推理。

跨平臺(tái)：能夠運(yùn)行在許多不同的平臺(tái)上，首先支持Android和iOS平臺(tái)

快速：針對(duì)移動(dòng)設(shè)備進(jìn)行了優(yōu)化，包括顯著提高模型加載時(shí)間和支持硬件加速

現(xiàn)在越來(lái)越多的移動(dòng)設(shè)備集成了定制硬件來(lái)更有效地處理機(jī)器學(xué)習(xí)帶來(lái)的工作負(fù)載。TensorFlow Lite支持Android神經(jīng)網(wǎng)絡(luò)API（Android Neural Networks API）利用這些新的加速器硬件。當(dāng)加速器硬件不可用的時(shí)候，TensorFlow Lite會(huì)執(zhí)行優(yōu)化CPU，這可以確保你的模型仍然可以很快的運(yùn)行在一個(gè)大的設(shè)備上。

TensorFlow Lite架構(gòu)設(shè)計(jì)

下面的關(guān)系圖顯示了TensorFlow Lite的構(gòu)架設(shè)計(jì)：

組件包括：

TensorFlow模型：一個(gè)保存在磁盤上訓(xùn)練好的TensorFlow模型。

TensorFlow Lite轉(zhuǎn)換器：一個(gè)將模型轉(zhuǎn)換為Tensorflow Lite文件格式的程序。

TensorFlow模型文件：基于FlatBuffers格式的模型文件，已針對(duì)較大速度和最小尺寸進(jìn)行了優(yōu)化。

Tensorflow Lite模型文件將被部署在一個(gè)移動(dòng)應(yīng)用程序，其中：

Java API：在Android上對(duì)C++API的一個(gè)封裝。

C++ API：加載Tensorflow Lite模型文件和調(diào)用解釋器。在Android和iOS上共用同一個(gè)庫(kù)文件。?

解釋器：采用一組運(yùn)算符來(lái)執(zhí)行模型。解釋器支持選擇性的運(yùn)算負(fù)荷；沒(méi)有運(yùn)算符大小只有70kb，當(dāng)所有的運(yùn)算符加載時(shí)，大小是300kb。正常的移動(dòng)端的Tensorflow（包含一個(gè)規(guī)范的運(yùn)算符操作集）需要1.5M的大小，可以看到解釋器顯著減少了內(nèi)存。

關(guān)于選擇Android設(shè)備，解釋器會(huì)采用Android Neural Networks API來(lái)進(jìn)行硬件加速，或者如果沒(méi)有可用的，默認(rèn)為CPU執(zhí)行。

開(kāi)發(fā)人員還可以使用C++ API實(shí)現(xiàn)可由解釋器使用的定制的內(nèi)核。

模型

Tensorflow Lite已經(jīng)有一些訓(xùn)練和優(yōu)化好的支持移動(dòng)端的模型：

MobileNet: 一種能夠識(shí)別1000類不同目標(biāo)的視覺(jué)模型，它是為在移動(dòng)設(shè)備和嵌入式設(shè)備上高效執(zhí)行而獨(dú)特設(shè)計(jì)的。

Inception v3: 一個(gè)圖像識(shí)別的模型，在功能上類似MobileNet，提供更高的精度同時(shí)也有較大的尺寸

Smart Reply: 一種設(shè)備級(jí)的會(huì)話模型，針對(duì)即將到來(lái)的會(huì)話聊天消息，它提供一種觸摸響應(yīng)。在Android Wear上，第一方和第三方的消息應(yīng)用程序均使用了此功能。

Inception v3和MobileNet均是在ImageNet數(shù)據(jù)集上預(yù)訓(xùn)練好的。通過(guò)遷移學(xué)習(xí)，你可以輕松的在你自己的數(shù)據(jù)集上再訓(xùn)練這個(gè)模型。

什么是TensorFlow Mobile?

正如你可能知道的，通過(guò)Tensorflow Mobile API，Tensorflow已經(jīng)支持了在移動(dòng)端和嵌入式上部署模型。未來(lái)TensorFlow Lite應(yīng)該被視為Tensorflow Mobile的演化，并隨著它的成熟將成為模型部署在移動(dòng)端和嵌入式設(shè)備上的推薦方案。目前TensorFlow Lite是開(kāi)發(fā)者預(yù)覽版，同時(shí)Tensorflow Mobile仍然支持APP的開(kāi)發(fā)。

Tensorflow Lite的應(yīng)用范圍大，目前處于積極開(kāi)發(fā)中。通過(guò)這個(gè)開(kāi)發(fā)者預(yù)覽版，我們有意地啟動(dòng)了一個(gè)帶約束的平臺(tái)來(lái)確保一些最重要的常用模型的性能。我們計(jì)劃根據(jù)用戶的需求對(duì)未來(lái)的功能擴(kuò)展進(jìn)行優(yōu)先級(jí)排序。我們持續(xù)開(kāi)發(fā)的目標(biāo)是為了降低對(duì)開(kāi)發(fā)人員經(jīng)驗(yàn)的要求，并能為一系列移動(dòng)和嵌入式設(shè)備部署模型。

我們非常興奮開(kāi)發(fā)者能夠上手使用Tensorflow Lite。對(duì)于其余的Tensorflow項(xiàng)目，我們計(jì)劃使用同一強(qiáng)度來(lái)支持和解決外部社區(qū)問(wèn)題。期待你能用TensorFlow Lite做些非?？岬氖虑?。

更多關(guān)于Tensorflow Lite的功能和信息，請(qǐng)點(diǎn)擊TensorFlow Lite文檔：

http://tensorflow.org/mobile/tflite

祝大家Tensorflow Lite編程快樂(lè)。

商業(yè)智能與數(shù)據(jù)分析群

興趣范圍包括各種讓數(shù)據(jù)產(chǎn)生價(jià)值的辦法，實(shí)際應(yīng)用案例分享與討論，分析工具，ETL工具，數(shù)據(jù)倉(cāng)庫(kù)，數(shù)據(jù)挖掘工具，報(bào)表系統(tǒng)等全方位知識(shí)

QQ群：81035754