摘要：技術(shù)在宜信宜信擁有豐富的業(yè)務和產(chǎn)品線，這些產(chǎn)品線產(chǎn)生了大量的人工智能賦能需求。技術(shù)在宜信的實踐背景暫且介紹到這里，接下來我們會為大家介

文章圍繞基于機器學習的NLP技術(shù)在宜信內(nèi)部各業(yè)務領(lǐng)域的應用實踐展開，分享這一過程中的相關(guān)經(jīng)驗，包括智能機器人在業(yè)務支持、客戶服務中的探索，基于文本語義分析的用戶畫像構(gòu)建，以及NLP算法服務平臺化實施思路等。本文為背景篇，敬請大家閱讀~

作者：井玉欣。畢業(yè)于北京大學信息科學技術(shù)學院，獲博士學位，研究方向包括計算機軟件與理論、邏輯推理等，目前就職于宜信技術(shù)研發(fā)中心，從事人工智能、機器學習、自然語言處理以及知識工程等方面的研究。

宜信公司于2006年成立于北京，經(jīng)過12年的發(fā)展，目前圍繞著普惠和財富兩大業(yè)務板塊，陸續(xù)推出了許多相關(guān)產(chǎn)品，如宜人貸、宜人財富、致誠信用、博城保險等等。

實際上在這些產(chǎn)品的背后，AI技術(shù)已廣泛地應用其相關(guān)的各條業(yè)務線中。

從宜信所處的金融領(lǐng)域的各個子領(lǐng)域來劃分，可以分為智能交易、智能信貸、金融信息、金融安全、個性化服務這五個方面，每個方面都有相關(guān)人工技術(shù)的輔助。

例如智能交易領(lǐng)域，有智能投研、量化分析、自動/輔助交易等技術(shù)；智能信貸領(lǐng)域，有能夠進行身份識別、用戶畫像以及智能風控等相關(guān)的人工智能產(chǎn)品；金融信息領(lǐng)域，我們會進行知識工程、圖譜分析、智能問答等；金融安全領(lǐng)域，要進行反欺詐分析；而個性化服務領(lǐng)域就更廣泛了，我們有行為分析、智能營銷、推薦與匹配以及智能理財顧問等等一系列比較成熟的AI產(chǎn)品。

讓我們繼續(xù)向下探究，在這些AI產(chǎn)品的背后，會發(fā)現(xiàn)都有一些NLP（Natural Language Processing, 自然語言處理）技術(shù)的影子。比如在智能交易領(lǐng)域，我們需要理解相當多的投研報告，這里就會用到報告理解方面的NLP技術(shù)；智能信貸領(lǐng)域，可能需要進行風控報告的生成和分析，也要用到相關(guān)的NLP技術(shù)；知識工程領(lǐng)域，要對金融信息進行知識提取，或者為了構(gòu)建知識圖譜進行關(guān)系提取、事件提取等；智能營銷和智能理財顧問中，則需要智能聊天以及話術(shù)提取的處理技術(shù)。

可以說NLP技術(shù)貫穿了各個領(lǐng)域的AI產(chǎn)品，其直接原因就是因為我們的業(yè)務中存在著大量的自然語言數(shù)據(jù)，如電銷通話數(shù)據(jù)、客戶分析小結(jié)、客服溝通內(nèi)容、內(nèi)部交流信息以及其他各種文本報告等等，這些數(shù)據(jù)都是使用自然語言來進行存儲的；而且用自然語言文本存儲這些數(shù)據(jù)，還有著其他形式數(shù)據(jù)無法比擬的一些優(yōu)點，如圖1所示，自然語言數(shù)據(jù)來源豐富，信息表述多種多樣，保留信息完整，并且符合用戶習慣等等。

圖1 自然語言的特點

但是，我們需要注意到相較于這些優(yōu)點，自然語言數(shù)據(jù)也有著數(shù)據(jù)非結(jié)構(gòu)化不易處理、存在可能的歧義性、語法不規(guī)則性、未知語言現(xiàn)象等缺點。另外，結(jié)合宜信所處的業(yè)務領(lǐng)域，這些自然語言又有一些獨特的特點：更強的詞匯專業(yè)性、更廣泛的數(shù)據(jù)來源、多樣的數(shù)據(jù)形式（錄音數(shù)據(jù)，文字對話數(shù)據(jù)以及短/長文本的報告、小結(jié)等）、較大的數(shù)據(jù)量以及分布的不均衡性。

這些缺點使得自然語言數(shù)據(jù)并不容易處理，NLP技術(shù)實施起來難度也不小，但是為什么自然語言數(shù)據(jù)仍然越來越得到關(guān)注，NLP技術(shù)的實施也越來越廣泛了呢？

實際上，近幾年來，各企業(yè)、組織開始在業(yè)務中也越來越關(guān)注大量非結(jié)構(gòu)化數(shù)據(jù)中蘊含的高價值信息。我們知道，結(jié)構(gòu)化數(shù)據(jù)比較好處理，但是經(jīng)過多年的發(fā)展，能夠從中挖掘出的信息越來越有限；而我們平時接觸到的非結(jié)構(gòu)化數(shù)據(jù)，其數(shù)量級要比結(jié)構(gòu)化數(shù)據(jù)多出好幾倍，里面蘊含著非常多的高價值信息。

典型的非結(jié)構(gòu)化數(shù)據(jù)包括圖片、視頻等，另外很重要的一部分就是自然語言文本數(shù)據(jù)。我們可以從這些自然語言文本中挖掘出大量有價值的內(nèi)容，例如在前面所述的宜信自然語言數(shù)據(jù)中我們就可以得到客戶信息、產(chǎn)品數(shù)據(jù)、輿論傾向、策略反饋等。

此外，自然語言處理給我們帶來了新的會話交互方式，更確切的說，基于自然語言理解和自然語言生成所形成的對話式用戶交互更加自然、高效、吸引人，更加符合用戶習慣，這也就是我們所說的Conversational UI，新的交互方式越來越多的應用在各個領(lǐng)域。比如我們接觸到的智能音箱小愛同學，她的表現(xiàn)就非常驚艷。

所以，越來越多的業(yè)務開始關(guān)注非結(jié)構(gòu)化數(shù)據(jù)和自然語言數(shù)據(jù)這些高數(shù)量級的有價值信息，它具有的一些特點，提供的一些交互方式，帶來了更多擴展的形式，這就導致了自然語言數(shù)據(jù)越來越重要，NLP技術(shù)越來越必要。

我們給NLP技術(shù)做一個簡單的定位，即NLP技術(shù)承擔了領(lǐng)域內(nèi)自然語言數(shù)據(jù)的分類、提取、轉(zhuǎn)換、生成任務，是業(yè)務領(lǐng)域內(nèi)重要、基礎的技術(shù)服務之一。

宜信擁有豐富的業(yè)務和產(chǎn)品線，這些產(chǎn)品線產(chǎn)生了大量的人工智能賦能需求。算法團隊成立以來，一直面臨著不小的項目壓力。在整個項目的驅(qū)動過程中，團隊也逐漸得到成長，結(jié)合金融領(lǐng)域的相關(guān)業(yè)務知識，磨練出從規(guī)則分析到統(tǒng)計學算法，再到更加復雜的神經(jīng)網(wǎng)絡，以及NLP領(lǐng)域?qū)I(yè)技術(shù)等一系列技能。

圖2 相關(guān)算法技術(shù)棧

具體來講，我們從可以承擔基本的處理任務（利用一些現(xiàn)有的規(guī)則分析、基本算法模型所進行的詞性分析、句法分析）發(fā)展到可以利用相對復雜的神經(jīng)網(wǎng)絡模型對外提供文本分類、文本聚類、信息抽取等等一些模型服務，再到目前實施的智能聊天機器人（Chatbot）、用戶畫像、知識工程等高級場景，技術(shù)也隨之轉(zhuǎn)向了transformer、GAN、強化學習、深度學習網(wǎng)絡等能力越來越強、結(jié)構(gòu)越來越復雜的模型。這一過程可以看出來技術(shù)在不斷的進步。

除了技術(shù)在不斷的發(fā)展以外，我們也積攢了一批有價值的語料。在業(yè)務環(huán)節(jié)方面，我們積攢了如電銷數(shù)據(jù)、客服數(shù)據(jù)、陪訪數(shù)據(jù)、催收數(shù)據(jù)等語料；在業(yè)務領(lǐng)域方面，我們積攢了借貸（車、房、消費），理財（投資、保險、生活、傳承、公益）等方面的語料；而在數(shù)據(jù)形式方面，我們收集了對話類（電話、文字溝通信息）、文章類（小結(jié)、新聞、報告）形式的語料。

這是一批比較有價值的語料信息，最終形成了公司內(nèi)部的專業(yè)語料數(shù)據(jù)，包括公司的產(chǎn)品清單、業(yè)務術(shù)語表、業(yè)務實體表乃至財富領(lǐng)域的財富產(chǎn)品知識圖譜等等。我們最終的目的是經(jīng)過一定的擴充、抽象和加工之后，希望能夠形成金融領(lǐng)域的、高價值的、專業(yè)數(shù)據(jù)集，來對外進行賦能輸出。比如我們可以輸出金融術(shù)語表、金融術(shù)語同義詞林、金融領(lǐng)域相關(guān)本體以及各個子領(lǐng)域的知識庫等。

此外，我們在服務模式上也有一個演化的過程。早期我們是以項目為驅(qū)動的服務模式，這個過程中存在著一些普遍的痛點：

產(chǎn)品眾多、業(yè)務需求繁雜；

不同的業(yè)務相結(jié)合，需求不斷發(fā)生變化；

時效性要求，越快越好，上線稍晚就會影響到需求方；

研發(fā)團隊人力有限，偶爾還要兼顧環(huán)境部署、上線模型監(jiān)控與維護等工作，整個過程中研發(fā)團隊忙、壓力大，沒時間對模型進行有效調(diào)優(yōu)。

那么如何解決這些痛點呢？反思過后，我們走出了重要的一步，即服務的平臺化。通過構(gòu)建一個統(tǒng)一的NLP模型平臺，對外提供一個統(tǒng)一的NLP服務，其優(yōu)點是：

降低成本，提高效率；

平臺上的模型可以靈活組合，快速響應客戶的需求；

可以統(tǒng)一相關(guān)標準，方便對模型進行集中管理。

通過平臺化服務，使我們的工作擺脫了原有的粗放式服務模式，提高了AI團隊的輸出能力。

圖3 服務的平臺化

圖3為我們平臺的邏輯功能視圖，自底向上分為資源層、預處理層、模型層及場景層。資源層主要包括一系列的語料、標簽、預訓練模型等資源；預處理層包含一些常用的NLP技術(shù)，如分詞分句、詞性分析、句法分析、主題分析、命名實體識別等；模型層則包括一些可以對外提供服務的算法模型，例如文本的聚類、分類、生成、復述等模型，情感分析模型等；最高的場景層則針對一些高級的、可以形成一定閉環(huán)能力的復雜場景進行解決方案的構(gòu)建，例如對于智能機器人、用戶畫像等復雜場景，我們會形成一個包裝好的解決方案，提供給用戶使用。

圖4 NLP平臺架構(gòu)

圖4為NLP平臺工程架構(gòu)。我們構(gòu)建了一個支持Python環(huán)境的多任務調(diào)度微服務架構(gòu)，從圖中可以看到我們利用Mongo、HDFS、ES、MQ等系統(tǒng)構(gòu)建了相關(guān)的數(shù)據(jù)訪問層、模型算法層，在這兩層的基礎上，在微服務層我們對算法模型進行任務調(diào)度管理；外部我們暴露出相關(guān)的Web接口和App接口。此外，縱向來看，我們集成了一些權(quán)限管理、多租戶管理功能，可以對接企業(yè)內(nèi)部的單點登錄、身份認證、權(quán)限控制等系統(tǒng)。

NLP技術(shù)在宜信的實踐背景暫且介紹到這里，接下來我們會為大家介紹NLP技術(shù)在宜信應用的兩個場景：智能聊天機器人和構(gòu)建客戶畫像。敬請大家期待~

宜信技術(shù)學院