摘要：而自然語言處理被視為深度學(xué)習(xí)即將攻陷的下一個技術(shù)領(lǐng)域，在今年全球較高級的學(xué)術(shù)會議上，我們也看到大量的在深度學(xué)習(xí)引入方面的探索研究。

深度學(xué)習(xí)的出現(xiàn)讓很多人工智能相關(guān)技術(shù)取得了大幅度的進(jìn)展，比如語音識別已經(jīng)逼近臨界點，即將達(dá)到Game Changer水平；機(jī)器視覺也已經(jīng)在安防、機(jī)器人、自動駕駛等多個領(lǐng)域得到應(yīng)用。 而自然語言處理（NLP）被視為深度學(xué)習(xí)即將攻陷的下一個技術(shù)領(lǐng)域，在今年全球較高級的NLP學(xué)術(shù)會議ACL上，我們也看到大量的在深度學(xué)習(xí)引入NLP方面的探索研究。讓我們跟隨阿里的科學(xué)家們一起去探求深度學(xué)習(xí)給NLP帶來些改變。

上篇介紹了機(jī)器翻譯、機(jī)器閱讀與理解、語言與視覺等方面的科學(xué)探索，下篇將介紹對話系統(tǒng)、信息抽取與情感分析、句法分析、詞向量和句向量等相關(guān)方向的優(yōu)秀研究成果。

《下篇》

4、對話系統(tǒng)

《On-line Active Reward Learning for Policy Optimization in SpokenDialogue Systems》，用于口語對話系統(tǒng)策略優(yōu)化的在線自動獎勵學(xué)習(xí)，來自于劍橋大學(xué)工作的Paper，也榮獲了本次ACL2016學(xué)生Best Paper。此Paper提出了一種在面向任務(wù)的對話系統(tǒng)中，通過增強(qiáng)學(xué)習(xí)來優(yōu)化對話管理策略，構(gòu)建了一個在線學(xué)習(xí)框架：對話策略，對話鑲嵌函數(shù)和基于用戶反饋的主動獎勵機(jī)制三部分組成，如圖所示。

圖8、在線學(xué)習(xí)框架

?

通過Gaussian過程分類法與一種基于神經(jīng)網(wǎng)絡(luò)的無監(jiān)管式對話嵌入方法，提出了一種主動的獎賞函數(shù)學(xué)習(xí)模型。通過Reinforcement Learning的方式，主動詢問客戶收集更多的信息來得到較精確的獎賞函數(shù)，實現(xiàn)在線學(xué)習(xí)策略。相比人工語聊標(biāo)注以及離線模型的方式上有很大的創(chuàng)新。

?

Paper下載地址：http://aclweb.org/anthology/P16-1230

?

《DocChat: An Information Retrieval Approach for Chatbot Engines UsingUnstructured Documents》，此篇長文是由微軟亞洲研究院(MSRA)周明老師團(tuán)隊的工作。本文適合場景是聊天場景，不適用于強(qiáng)邏輯和知識業(yè)務(wù)匹配場景。

?

通常我們在做聊天對話的時候，我們有兩種方式：一種是基于檢索的方式(Retrieval-Based)，還有一種就是基于sequence tosequence的Deep Learning生成方式，比如基于LSTM的方式。但是兩種方式基于都是大量的基于QA Pair對的數(shù)據(jù)展開的工作。本文的第一個創(chuàng)新的點是直接依賴于非結(jié)構(gòu)化RawData作為數(shù)據(jù)源輸入，而不依賴標(biāo)準(zhǔn)的QA Pair對數(shù)據(jù)，通過非結(jié)構(gòu)化數(shù)據(jù)中直接計算獲得合適的Response。

?

框架技術(shù)思路設(shè)計路徑還是傳統(tǒng)的檢索方式：非結(jié)構(gòu)化文本按照句子進(jìn)行分割，先從已有的非結(jié)構(gòu)化數(shù)據(jù)集中進(jìn)行召回，然后進(jìn)行Ranking排序，最后進(jìn)行置信度計算。其中較為核心的部分就是回復(fù)Ranking的特征選擇及模型選擇了，本文提出了多l(xiāng)evel特征的選擇，包括：word-level, phrase-level,sentence- level, document-level, relation-level, type-level 和 topic-level。整體評測方案上其實是有提升空間的，語聊類的通過“0”和“1”的方式判斷其實不是特別合適，可以修改成為對、錯和相關(guān)等更為復(fù)雜的評測方案。

?

Paper下載地址：http://aclweb.org/anthology/P16-1049

?

5、信息抽取與情感分析

IE的論文今年集中在slot filling， NER，entityResolution 和coreference.Slot filling在2009 KBP 提出以來，一直以來效果不好很好，F(xiàn)-score大約只有30%。跟relation extraction比較而言，有跨篇章，同義詞，多種關(guān)系等問題。季?團(tuán)隊一直保持著比較好的實驗效果。此次，他們提出了一種基于圖挖掘的方案，取得了明顯的提升。NER也是IE比較傳統(tǒng)的任務(wù)，今年論文的創(chuàng)新仍舊多基于深度學(xué)習(xí)。Coreference和 entity resolution保持了近幾年colletive和知識表示兩個方向上發(fā)力。

?

Sentiment由于學(xué)術(shù)界數(shù)據(jù)的缺乏，domain adaptation仍舊十分熱，近幾年domain adaptation也在使用deep learning模型。

?

綜合來看，今年這兩個課題中規(guī)中矩，有不錯的創(chuàng)新點，但沒有大的突破。

?

6、句法分析

句法分析可以稱作是自然語言處理領(lǐng)域的核心任務(wù)之一，每年ACL會議上都有較大數(shù)量的相關(guān)論文和sessions。然而與過去二十年所取得的進(jìn)展相比，現(xiàn)在的句法分析研究越來越給人一種“做無可做”的感覺（甚至一部分熟悉的研究人員已經(jīng)離開這個領(lǐng)域）。也許賓州大學(xué)構(gòu)建的標(biāo)準(zhǔn)樹庫所帶來的紅利已經(jīng)消失了？

?

現(xiàn)在人們相當(dāng)程度上把希望寄托在深度學(xué)習(xí)上。從某種意義上講，這也是大勢所趨：搞深度學(xué)習(xí)的希望在搞定語音和圖像之后能夠進(jìn)一步挑戰(zhàn)自然語言處理/理解，而做語言處理的研究者則需要深度學(xué)習(xí)來擴(kuò)展自己的研究手段。句法分析同樣不能例外，過去兩三年，句法分析領(lǐng)域出現(xiàn)大量基于深度學(xué)習(xí)的研究工作，通過構(gòu)建不同的（通常比較復(fù)雜的）網(wǎng)絡(luò)結(jié)構(gòu)。在2016年ACL工作中，我們看到研究重點回歸到如何將深度學(xué)習(xí)用作更有效的工具，譬如說研究如何利用深度學(xué)習(xí)模型的非線性特點減小分析算法的計算代價，或者研究如何利用深度學(xué)習(xí)與經(jīng)典方法（例如reranking）進(jìn)行結(jié)合。下面會有相關(guān)論文的介紹。

?

句法分析領(lǐng)域另一個值得關(guān)注的點是實驗數(shù)據(jù)的多樣化。前面提到了賓州樹庫（英文的PTB、中文的CTB、朝鮮語的KTB）。做句法分析研究的同學(xué)都知道，這幾個數(shù)據(jù)集是句法分析研究的標(biāo)準(zhǔn)數(shù)據(jù)集，從1992年開始，我們大部分句法分析實驗都是在這些數(shù)據(jù)集上進(jìn)行。但是近幾年這幾個標(biāo)準(zhǔn)數(shù)據(jù)集逐漸暴露出不足之處。因此開始出現(xiàn)了一些幫助研究繼續(xù)往前發(fā)展的新數(shù)據(jù)集。Google在2012年推出WebTreebank，除了覆蓋賓州樹庫原有數(shù)據(jù)以外，Web Treebank中還包含一個問句測試集和一個超大規(guī)模的無標(biāo)注數(shù)據(jù)。[1]這個數(shù)據(jù)集通常用于領(lǐng)域適應(yīng)性研究。在依存分析領(lǐng)域，近幾年出現(xiàn)了Universal Dependencies，其目標(biāo)是通過一套規(guī)范對多種語言進(jìn)行統(tǒng)一的標(biāo)注。[2]在成分句法分析領(lǐng)域，出現(xiàn)了覆蓋八種語言的SPMRL (Morphologically rich language) 數(shù)據(jù)。[3]在新數(shù)據(jù)集上的工作開始增多。這些數(shù)據(jù)的基礎(chǔ)性工作在某種程度上講要比深度學(xué)習(xí)更值得研究。

依存句法分析的效率優(yōu)化

依存句法分析的方法基本上可以分為兩大流派：基于圖的方法和基于狀態(tài)轉(zhuǎn)移的方法。與狀態(tài)轉(zhuǎn)移方法相比，基于圖的方法建模能力更強(qiáng)，但是解碼的時候需要依賴動態(tài)規(guī)劃算法，難以避免具有較高的時間復(fù)雜度（狀態(tài)轉(zhuǎn)移方法具有線性時間復(fù)雜度）；而且它的時間復(fù)雜度與采用的子圖大小正相關(guān)：子圖越大，復(fù)雜度越高。下圖展示了從一階到三階的不同依存子圖。為了使基于圖的句法分析方法在實際應(yīng)用中更加可用，有必要去研究如何使基于圖的依存句法分析器跑得更快。

圖9、一階到三階的不同依存子圖

今年有兩篇工作與這個主題相關(guān)。來自北京大學(xué)的Wang and Chang 始終采用較低階（一階）的依存子圖進(jìn)行建模，但是考慮到一階子圖的上下文信息不足，他們采用雙向的LSTM對子圖進(jìn)行打分，以此彌補(bǔ)上下文信息缺失的問題。經(jīng)典的基于圖的模型（例如MST parser）采用MIRA模型對子圖進(jìn)行打分。因此這篇工作其本質(zhì)是始終采用一階子圖對句法樹進(jìn)行拆分，但是底層的打分函數(shù)換成了雙向LSTM，因此其時間復(fù)雜度仍然為O(n^3)（通過有效

剪枝可以使復(fù)雜度減小到O(n^2)）。雙向LSTM的網(wǎng)絡(luò)結(jié)構(gòu)如圖10所示。

?

Wang and Chang利用了圖方法的一個特性，即解碼的時間復(fù)雜度與子圖大小正相關(guān)?；趫D的句法分析方法另一個重要特性是：解碼過程實際上是在有向無環(huán)圖中尋找較大生成樹。如果能把有向圖換成無向圖，那么尋找較大生成樹的算法就會簡單很多。來自以色列和印度的一篇聯(lián)合工作就解了這個問題。給定一個句子，首先生成無向圖，基于該無向圖生成（無向的）較大生成樹，最終的依存樹將由無向的較大生成樹推導(dǎo)得到。

?

圖10、雙向LSTM的網(wǎng)絡(luò)結(jié)構(gòu)

?

基于神經(jīng)網(wǎng)絡(luò)的成分句法分析

在EMNLP2014上有一篇來自StanfordNLP組的開創(chuàng)性的工作（Chen and Manning, 2014)，提出基于Feed-forwardNeural Network的狀態(tài)轉(zhuǎn)移依存分析器，它通過減少特征抽取的時間成本，造就了目前為止單機(jī)速度最快的依存句法分析器。在這項工作的基礎(chǔ)上有一系列的后續(xù)工作（包括Google開源的SyntaxNet）都是基于該模型改進(jìn)完成。很自然的產(chǎn)生一個想法：能否利用該網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行成分句法分析的工作。來自法國的Coavoux and Crabbe今年就做了這樣一篇工作。他們除了采用Chen and Manning 2014的網(wǎng)絡(luò)結(jié)構(gòu)以外，還采用了dynamic oracle技術(shù)。Dynamic oracle技術(shù)最開始也是在依存分析上首先提出的，其基本思路是：基于訓(xùn)練數(shù)據(jù)的標(biāo)準(zhǔn)答案(gold oracle)進(jìn)行模型訓(xùn)練不一定是較佳的，因為在解碼的時候很容易產(chǎn)生錯誤，導(dǎo)致無論如何也得不到gold oracle，dynamic oracle的思想就是根據(jù)當(dāng)前的狀態(tài)（可能是錯誤狀態(tài)）學(xué)習(xí)一個最有利于模型優(yōu)化的oracle.這項dynamic oracle技術(shù)在成分句法分析中同樣有效。

7、詞向量和句向量

Word Vectors和Sentence Vectors總共被安排了三場，并且被組委會安排在了較大的兩個會議室（Audimax和Kinosaal），多少可以代表當(dāng)前自然語言處理領(lǐng)域的熱點話題和方向，包括在其它的一些專場（比如Semantics等）也或多或少使用到了類似的深度學(xué)習(xí)和詞嵌入的技術(shù)。因為涉及到的內(nèi)容比較多，以兩篇文章為例：

?

《Compressing Neural Language Models by Sparse Word Representations》一文主要針對現(xiàn)在神經(jīng)網(wǎng)絡(luò)模型過大帶來的時間開銷以及內(nèi)存占用的問題，提出了一種壓縮算法使得模型的參數(shù)伴隨著詞典的膨脹緩慢增加，并且在Perplexity上的評估性能也有所改善。該文方法的主要優(yōu)點在于：一、放松了對硬件特別是內(nèi)存消耗的限制，使得模型在移動端部署大為方便；二、特別提升了對罕見詞的表示效果，因為常見的神經(jīng)網(wǎng)絡(luò)語言模型無法很好地調(diào)優(yōu)梯度。解決上述問題的思路在于將罕見詞表示為常見詞的稀疏線性組合，這一思路來源于日常生活中我們往往用幾個常見詞來解釋一個不熟悉的詞。因此將我們的目標(biāo)轉(zhuǎn)化為求解罕見詞的最優(yōu)稀疏編碼（每個詞4-8個）。因此最終用來壓縮模型的方法定義為，對于常見詞采用傳統(tǒng)的稠密詞向量的求解方式，對于罕見詞采用常見詞的稀疏組合來作為其向量，使用LSTM與RNN作為模型的隱藏層，而其它權(quán)重值的求解方式與傳統(tǒng)的類似，從而達(dá)到了網(wǎng)絡(luò)的參數(shù)數(shù)目基本與詞典大小無關(guān)（或者說關(guān)系很?。?。最終的實驗結(jié)果從性能（Perplexity）與內(nèi)存開銷減少兩方面來說明價值，如圖11、12所示。

圖11、壓縮模型與基線在Perplexity上的性能比較

圖12、模型在內(nèi)存消耗上的減少（%）

?

另一篇很有意思的文章是來自于墨爾本大學(xué)和劍橋大學(xué)合作的《Take and Took, Gaggle and Goose, Book and Read: Evaluating theUtility of Vector Differences for Lexical Relation Learning》。從標(biāo)題可以看出這是一篇探索詞匯間關(guān)系的論文，這是一項非?；A(chǔ)并且非常重要的工作，我們?nèi)粘６紩玫絯ord2vec這種非常實用的工具，但對詞之間的關(guān)系并未做過多的探索，比如經(jīng)典的king ? man + woman = queen或者paris ? france + poland = warsaw，作者認(rèn)為兩個詞向量之間的差值代表了某種含義（更確切的說法是代表了兩個詞匯的某種關(guān)系），比如前者可能是性別關(guān)系，而后者可能是代表了首都的關(guān)系。為了證明此種關(guān)系是否可靠并且不依賴于特定的語料，作者選擇了十多種典型的關(guān)系，比如整體與部分（airplane and cockpit）、行動與目標(biāo)（hunt and deer）、名詞與群體名詞（antand army）以及單復(fù)數(shù)（ dog and dogs）、過去時態(tài)（knowand knew）和第三人稱形態(tài)（accept and accepts）等等大量數(shù)據(jù)，并且通過聚類得到結(jié)果，如圖13；作者發(fā)現(xiàn)這種“通過詞向量的差值來刻畫詞匯間關(guān)系”的方式是可靠并且具備普遍通用性的。除此之外，作者還探索了使用有監(jiān)督數(shù)據(jù)集做分類的方法和應(yīng)用。

圖13、典型關(guān)系的聚類結(jié)果，部分離群點可能是由于多義詞的影響

?

這方面的研究對于機(jī)器翻譯和人機(jī)交互具有很強(qiáng)的應(yīng)用價值，對這一領(lǐng)域的探索毫無疑問Google走在了前面，包括之前開源的word2vec，以及他們的機(jī)器翻譯團(tuán)隊發(fā)現(xiàn)在英語中的這種詞匯關(guān)系同樣適用于西班牙語和德語等等。

?

除此之外，還有一個專場專門介紹Sentence Vectors，主要介紹了其在Attention Mode、Negation Scope Detection以及Summarization方面的應(yīng)用。

?

四、總結(jié)

1、今年的ACL上，深度學(xué)習(xí)不出意外地依然成為會議的主角，并在自然語言處理的幾乎所有領(lǐng)域的重要問題上得到大規(guī)模應(yīng)用，包括：語義表示、機(jī)器翻譯、信息提取、情感分析、自動問答、對話等。繼深度神經(jīng)網(wǎng)絡(luò)在圖像、語音等研究領(lǐng)域取得突破性進(jìn)展后，機(jī)器翻譯領(lǐng)域的研究者們從2013年后也開始嘗試在翻譯模型中引入多層神經(jīng)網(wǎng)絡(luò)模型。從最初的把神經(jīng)網(wǎng)絡(luò)語言模型作為傳統(tǒng)SMT解碼器的特征之一，到后來完全取代SMT解碼器的Encoder-Decoder框架，應(yīng)該說NMT在短短兩年多時間里快速推進(jìn)，無論是研究上還是應(yīng)用上都已經(jīng)隱然要取代傳統(tǒng)SMT框架。

2、雖然端到端的神經(jīng)機(jī)器翻譯系統(tǒng)取得了很大進(jìn)步，在一些公共測試集上已經(jīng)追趕或超越傳統(tǒng)的統(tǒng)計機(jī)器翻譯系統(tǒng)，但它之前也存在一些難以解決的問題，比如：由于詞表大小限制導(dǎo)致的OOV翻譯問題、已翻譯的詞過翻或欠翻問題等，這些問題在今年的ACL論文中已經(jīng)出現(xiàn)了部分解決方案，雖然還不能說非常完美，但至少已經(jīng)看到了改進(jìn)的希望。這些也是我們后續(xù)值得重點關(guān)注的工作。

3、整體的“自動化”及挖掘和利用知識還是主要的旋律，技術(shù)上Deep Learning持續(xù)火熱。對比工業(yè)界目前如火如荼的大量chatbot產(chǎn)品，在平臺化技術(shù)上要解決的其實也是這兩個問題，使得chatbot更加智能。當(dāng)然對比工業(yè)界目前開始逐步開始在大規(guī)模場景結(jié)合深度學(xué)習(xí)的技術(shù)，這個需要一個發(fā)展和落地的過程。本次會議中一些知識利用及對話構(gòu)建機(jī)制上的思路在工業(yè)界是可以借鑒的，還有一個較為需要關(guān)注的亮點或者說工業(yè)界可以參考和需要關(guān)注的是，ReinforcementLearning的應(yīng)用和發(fā)展是一個新的發(fā)聲點和亮點。

4、句法分析的研究仍然不少，但是可能確實是到了一個瓶頸。目前一個思路是去研究引入深度學(xué)習(xí)，建立新的模型之后，一些“老”技術(shù)如何遷移過來。譬如說reranking技術(shù)，原來在n-best list和forest基礎(chǔ)上取得的效果非常好，現(xiàn)在在neural network-based的系統(tǒng)上如何引入reranking，是一個值得研究的問題。今年南京大學(xué)的Hao Zhou等人就做了這樣的一篇有趣的工作。另外一個就是數(shù)據(jù)，現(xiàn)在universal dependencies和SPMRL還不夠，新數(shù)據(jù)的構(gòu)建和研究還有較多的工作要做。

5、學(xué)術(shù)界是比較少研究應(yīng)用的，不過也會看到一些比較有趣的可以直接應(yīng)用起來的技術(shù)。譬如今年Anders Bjokelund等人做了一個句子切分和句法分析的聯(lián)合模型。這個工作與之前MSRADongdong Zhang等人做的一個標(biāo)點預(yù)測與句法分析聯(lián)合模型相類似。假設(shè)需要對語音識別的結(jié)果進(jìn)行分析理解，那么這樣的一個模型應(yīng)該會有比較大的作用。類似的思路，由于句法分析處于很多應(yīng)用的核心位置，我們其實可以考慮把應(yīng)用中的其它任務(wù)與它進(jìn)行聯(lián)合建模。

商業(yè)智能與數(shù)據(jù)分析群

興趣范圍包括各種讓數(shù)據(jù)產(chǎn)生價值的辦法，實際應(yīng)用案例分享與討論，分析工具，ETL工具，數(shù)據(jù)倉庫，數(shù)據(jù)挖掘工具，報表系統(tǒng)等全方位知識

QQ群：81035754