摘要：因?yàn)樵诿恳粫r(shí)刻對(duì)過(guò)去的記憶信息和當(dāng)前的輸入處理策略都是一致的，這在其他領(lǐng)域如自然語(yǔ)言處理，語(yǔ)音識(shí)別等問(wèn)題不大，但并不適用于個(gè)性化推薦，一個(gè)用戶的聽(tīng)歌點(diǎn)擊序列，有正負(fù)向之分。

在內(nèi)容爆炸性增長(zhǎng)的今天，個(gè)性化推薦發(fā)揮著越來(lái)越重要的作用，如何在海量的數(shù)據(jù)中幫助用戶找到感興趣的物品，成為大數(shù)據(jù)領(lǐng)域極具挑戰(zhàn)性的一項(xiàng)工作；另一方面，深度學(xué)習(xí)已經(jīng)被證明在圖像處理，計(jì)算機(jī)視覺(jué)，自然語(yǔ)言處理等領(lǐng)域都取得了不俗的效果，但在個(gè)性化推薦領(lǐng)域，工程應(yīng)用仍然相對(duì)空白。

本文是深度學(xué)習(xí)在個(gè)性化推薦實(shí)踐應(yīng)用的第二篇，在第一篇中，我詳述了如何利用歷史沉淀數(shù)據(jù)挖掘用戶的隱藏特征，本文在上一篇的基礎(chǔ)上進(jìn)行延伸，詳細(xì)分析如何利用LSTM，即長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)來(lái)進(jìn)行序列式的推薦。

1、從RBM，RNN到LSTM：

根據(jù)用戶的長(zhǎng)期歷史數(shù)據(jù)來(lái)挖掘隱特征是協(xié)同過(guò)濾常用的方法，典型的算法有基于神經(jīng)網(wǎng)絡(luò)的受限玻爾茲曼機(jī) (RBM)，基于矩陣分解的隱語(yǔ)義模型等。歷史的數(shù)據(jù)反映了用戶的長(zhǎng)期興趣，但在很多推薦場(chǎng)景下，我們發(fā)現(xiàn)推薦更多的是短時(shí)間內(nèi)的一連串點(diǎn)擊行為，例如在音樂(lè)的聽(tīng)歌場(chǎng)景中，用戶的聽(tīng)歌時(shí)間往往比較分散，有可能一個(gè)月，甚至更長(zhǎng)的時(shí)間間隔才會(huì)使用一次，但每一次使用都會(huì)產(chǎn)生一連串的點(diǎn)擊序列，并且在諸如音樂(lè)等推薦領(lǐng)域中，受環(huán)境心情的影響因素很大，因此，在這種推薦場(chǎng)景下，基于用戶的短期會(huì)話行為(session-based) 能夠更好的捕獲用戶當(dāng)前的情感變化。

另一方面，通過(guò)用戶的反饋，我們也不難發(fā)現(xiàn)，用戶的序列點(diǎn)擊行為并不是孤立的，當(dāng)前的點(diǎn)擊行為往往是受到之前的結(jié)果影響，同理，當(dāng)前的反饋也能夠影響到今后的決策，長(zhǎng)期歷史數(shù)據(jù)的隱特征挖掘無(wú)法滿足這些需求。

RNN是解決序列性相關(guān)問(wèn)題的常用網(wǎng)絡(luò)模型，通過(guò)展開(kāi)操作，可以從理論上把網(wǎng)絡(luò)模型擴(kuò)展為無(wú)限維，也就是無(wú)限的序列空間，如下圖所示：

與CNN的參數(shù)共享原理一樣，RNN網(wǎng)絡(luò)在每一時(shí)刻也會(huì)共享相同的網(wǎng)絡(luò)權(quán)重參數(shù)，這時(shí)因?yàn)榫W(wǎng)絡(luò)在時(shí)間序列的不同時(shí)刻執(zhí)行的是相同任務(wù)。在實(shí)際建模中，每一階段的網(wǎng)絡(luò)結(jié)構(gòu)由輸入層，embedding層，1到多個(gè)LSTM層(可以選擇dropout)和層次softmax輸出層構(gòu)成，如下圖所示，每一部分的設(shè)計(jì)思路將在后面詳細(xì)講述。

2、三“門”狀態(tài)邏輯設(shè)計(jì)

從理論的角度來(lái)分析，傳統(tǒng)的RNN采用BPTT (Backpropagation Through Time)來(lái)進(jìn)行梯度求導(dǎo)，對(duì)V的求導(dǎo)較為簡(jiǎn)單直接，但對(duì)W和U的求導(dǎo)會(huì)導(dǎo)致梯度消失(Vanishing Gradients)問(wèn)題,梯度消失的直接后果是無(wú)法獲取過(guò)去的長(zhǎng)時(shí)間依賴信息。

從個(gè)性化推薦的角度來(lái)看，傳統(tǒng)的RNN還有另外一個(gè)缺點(diǎn)。因?yàn)镽NN在每一時(shí)刻對(duì)過(guò)去的記憶信息和當(dāng)前的輸入處理策略都是一致的，這在其他領(lǐng)域(如自然語(yǔ)言處理，語(yǔ)音識(shí)別等)問(wèn)題不大，但并不適用于個(gè)性化推薦，一個(gè)用戶的聽(tīng)歌點(diǎn)擊序列，有正負(fù)向之分。正向的數(shù)據(jù)，包括諸如聽(tīng)歌時(shí)長(zhǎng)較長(zhǎng)的歌曲，收藏，下載等；負(fù)向的聽(tīng)歌，包括了跳過(guò)，刪除等，因此，在每一時(shí)刻的訓(xùn)練，需要對(duì)當(dāng)前的輸入數(shù)據(jù)有所區(qū)分，如果當(dāng)前時(shí)刻是正向的歌曲，應(yīng)該能夠?qū)竺娴耐扑]策略影響較大，相反，如果當(dāng)前時(shí)刻是負(fù)向的歌曲，應(yīng)該對(duì)后面的策略影響小，或者后面的推薦策略應(yīng)該避免類似的歌曲出現(xiàn)。

LSTM (長(zhǎng)短時(shí)記憶網(wǎng)絡(luò))是對(duì)傳統(tǒng)RNN的改進(jìn)，通過(guò)引入cell state來(lái)保留過(guò)去的記憶信息，避免BPTT導(dǎo)致的梯度消失問(wèn)題，同時(shí)，針對(duì)前面提到的個(gè)性化推薦的獨(dú)有特點(diǎn)，我們對(duì)長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)也進(jìn)行了修改，下面來(lái)詳細(xì)分析如何在個(gè)性化推薦中設(shè)計(jì)合理的門邏輯：

Forget gate (忘記門)：這一步是首先決定要從前面的“記憶”中丟棄哪些信息或丟棄多少信息，比如，之前可能對(duì)某一位歌手或者某一個(gè)流派的歌曲特別感興趣，這種正向操作的記憶需要得到保留，并且能夠影響今后的決策?！伴T”開(kāi)關(guān)通過(guò)sigmoid函數(shù)來(lái)實(shí)現(xiàn)，當(dāng)函數(shù)值越接近于1時(shí)，表示當(dāng)前時(shí)刻保留的記憶信息就越多，并把這些記憶帶到下一階段；當(dāng)函數(shù)值接近于0時(shí)，表示當(dāng)前時(shí)刻丟棄的記憶就越多。

Input gate(輸入門): 這一步由兩部分構(gòu)成，第一部分是決定當(dāng)前時(shí)刻的歌曲有多少信息會(huì)被加入到新的記憶中，如果是正向的歌曲，傳遞的信息就會(huì)越多，相反，對(duì)于負(fù)向歌曲，傳遞的信息就會(huì)越少。

第二部分是當(dāng)前階段產(chǎn)生的真實(shí)數(shù)據(jù)信息，它是通過(guò)tanh函數(shù)把前面的記憶與當(dāng)前的輸入相結(jié)合而得到。

經(jīng)過(guò)前面兩個(gè)門的設(shè)計(jì)，我們可以對(duì)cell state進(jìn)行更新，把舊的記憶狀態(tài)通過(guò)與forget gate相結(jié)合，丟棄不需要的信息，把當(dāng)前的輸入信息與input gate相結(jié)合，加入新的輸入數(shù)據(jù)信息，如下圖所示：

output gate (輸出門)：這一步是把前面的記憶更新輸出，通過(guò)輸出門開(kāi)關(guān)來(lái)控制記憶流向下一步的大小，確定哪些信息適合向后傳播。

到此為止，序列中每一階段的門邏輯設(shè)計(jì)也完成了，最終的LSTM層設(shè)計(jì)如下圖所示：

小技巧：在代碼實(shí)現(xiàn)的時(shí)候，我們應(yīng)該能夠發(fā)現(xiàn)上面提到的三個(gè)門運(yùn)算和cell state的計(jì)算除了激活函數(shù)稍有不同外，它們具有下面的相同線性操作公式:

經(jīng)過(guò)這樣的改造后，原來(lái)需要多帶帶執(zhí)行四步的操作，現(xiàn)在只需要一次矩陣運(yùn)算就能完成，這一技巧使得訓(xùn)練速度提升非常明顯。

3、時(shí)序規(guī)整與并行化設(shè)計(jì)

普通的遞歸網(wǎng)絡(luò)(或者是其變種，LSTM，GRU等)每一次訓(xùn)練會(huì)因?yàn)橛?xùn)練數(shù)據(jù)間的序列長(zhǎng)度不相等，需要多帶帶訓(xùn)練，對(duì)于上億條的流水訓(xùn)練數(shù)據(jù)來(lái)說(shuō)，這種做法顯然是不可行的，為此我們需要對(duì)輸入數(shù)據(jù)做時(shí)序的補(bǔ)齊，具體來(lái)說(shuō)就是把batch_size的訓(xùn)練樣本集中起來(lái)，取點(diǎn)擊最長(zhǎng)的序列長(zhǎng)度作為矩陣的行數(shù)，其余樣本數(shù)據(jù)用0來(lái)補(bǔ)齊。

下面通過(guò)一個(gè)具體例子來(lái)形象的描述這個(gè)過(guò)程，下圖是從騰訊QQ音樂(lè)抽取的部分聽(tīng)歌訓(xùn)練樣本，為了便于理解，這里只選擇batch_size的大小為5，最長(zhǎng)的點(diǎn)擊序列是8。

由訓(xùn)練數(shù)據(jù)，我們得到對(duì)應(yīng)的掩碼(mask)為：

掩碼的設(shè)計(jì)為我們解決了不同用戶聽(tīng)歌序列不相同的問(wèn)題，讓多個(gè)用戶的聽(tīng)歌數(shù)據(jù)同時(shí)進(jìn)行矩陣運(yùn)算，但卻產(chǎn)生了另外一個(gè)問(wèn)題，在每一次LSTM層訓(xùn)練的時(shí)候，狀態(tài)遷移輸出和隱藏層結(jié)點(diǎn)輸出計(jì)算是全局考慮的，對(duì)于當(dāng)前用0來(lái)padding的訓(xùn)練樣本，理論上是不應(yīng)該進(jìn)行更新，如何解決這一個(gè)問(wèn)題呢？

利用動(dòng)態(tài)規(guī)劃的思想可以優(yōu)雅的解決這個(gè)問(wèn)題，當(dāng)我們計(jì)算出當(dāng)前階段的cell state和隱藏層結(jié)點(diǎn)輸出后，把當(dāng)前的狀態(tài)輸出與前一個(gè)狀態(tài)輸出作線性的組合，具體來(lái)說(shuō)，假如當(dāng)前正在更新第T次點(diǎn)擊狀態(tài)。

右式由兩部分構(gòu)成，加號(hào)左邊，如果mask的值為1，更新當(dāng)前狀態(tài)，加號(hào)右邊，如果mask為0，那么狀態(tài)退回到最后一個(gè)非0態(tài)。如下圖所示：當(dāng)運(yùn)行到T7時(shí)，對(duì)于sample1和sample3都是直接更新新數(shù)據(jù)，對(duì)于sample2，sample4和sample5則執(zhí)行回溯。

4、Dropout-深度學(xué)習(xí)正則化的利器

正則化是機(jī)器學(xué)習(xí)中常用來(lái)解決過(guò)擬合的技巧，在深度學(xué)習(xí)領(lǐng)域，神經(jīng)網(wǎng)絡(luò)的參數(shù)更多，更深，結(jié)構(gòu)也更復(fù)雜，而往往訓(xùn)練樣本相對(duì)較少，過(guò)擬合的問(wèn)題會(huì)更加嚴(yán)重。較為常見(jiàn)的正則化方法包括：對(duì)單模型，比如當(dāng)驗(yàn)證集的效果變化不明顯的時(shí)候我們可以提前終止迭代，或者采用L1正則化和L2正則化等；對(duì)多模型，我們可以利用boosting來(lái)集成提升，但在深度學(xué)習(xí)中，這種方法是不現(xiàn)實(shí)的，因?yàn)閱蝹€(gè)模型的訓(xùn)練已經(jīng)非常復(fù)雜耗時(shí)，并且即使訓(xùn)練出多個(gè)網(wǎng)路模型，也難以在實(shí)際環(huán)境中做到快速集成。

Dropout結(jié)合了單模型和多模型的優(yōu)點(diǎn)，是深度學(xué)習(xí)領(lǐng)域解決過(guò)擬合的強(qiáng)有力武器，前面提到，如果不考慮時(shí)間復(fù)雜度的前提下，可以通過(guò)訓(xùn)練多個(gè)不同的網(wǎng)絡(luò)模型來(lái)集成提升效果，網(wǎng)路結(jié)構(gòu)之間差別越大，提升效果也會(huì)越明顯，可以假設(shè)一個(gè)神經(jīng)網(wǎng)絡(luò)中有n個(gè)不同神經(jīng)元，那么相當(dāng)于有2n個(gè)不同的網(wǎng)絡(luò)結(jié)構(gòu)，如下圖所示：

Dropout的思想是每一迭代的過(guò)程中，我們會(huì)隨機(jī)讓網(wǎng)絡(luò)某些節(jié)點(diǎn) (神經(jīng)元) 不參與訓(xùn)練，同時(shí)把與這些暫時(shí)丟棄的神經(jīng)元（如下圖的黑色結(jié)點(diǎn)）相關(guān)的所有邊全部去掉，相應(yīng)的權(quán)重不會(huì)在這一次的迭代中更新，每一次迭代訓(xùn)練我們都重復(fù)這個(gè)操作。需要注意的是這些被丟棄的的神經(jīng)元只是暫時(shí)不做更新，下一次還是會(huì)重新參與隨機(jī)化的dropout。

Hinton給出了dropout隨機(jī)化選擇的概率，對(duì)于隱藏層，一般取P=0.5，在大部分網(wǎng)絡(luò)模型中，能達(dá)到或接近最優(yōu)的效果，而對(duì)于輸入層，被選中的概率要比被丟棄的概率要大，一般被選中的概率大約在P=0.8左右。在具體實(shí)現(xiàn)的時(shí)候，我并沒(méi)有對(duì)輸入層做dropout，在隱藏層取概率為0.5來(lái)進(jìn)行正則化。

從理論角度來(lái)說(shuō)，這個(gè)做法的巧妙之處在于，每一次的訓(xùn)練，網(wǎng)絡(luò)都會(huì)丟棄部分的神經(jīng)元，也就是相當(dāng)于我們每一次迭代都在訓(xùn)練不同的網(wǎng)絡(luò)結(jié)構(gòu)，這樣同一個(gè)模型多次dropout迭代訓(xùn)練便達(dá)到了多模型融合的效果。

Hinton在其論文中還對(duì)dropout給出了一種很有意思的生物學(xué)的解析，也就是為什么有性繁殖會(huì)比無(wú)性繁殖更能適應(yīng)環(huán)境的變化，無(wú)性繁殖從母體中直接產(chǎn)生下一代，能保持母體的優(yōu)良特性，不容易發(fā)生變異，但也因此造成了適應(yīng)新環(huán)境能力差的缺點(diǎn)，而為了避免環(huán)境改變時(shí)物種可能面臨的滅亡（相當(dāng)于過(guò)擬合），有性繁殖除了會(huì)分別吸收父體和母體的基因之外，還會(huì)為了適應(yīng)新環(huán)境而進(jìn)行一定的基因變異。

5、Hierarchical softmax輸出

最后的一個(gè)難點(diǎn)問(wèn)題是推薦結(jié)果的輸出。對(duì)于常規(guī)的輸出層，一般是采用softmax函數(shù)建模，當(dāng)輸出數(shù)據(jù)很少，比如只有幾千個(gè)候選數(shù)據(jù)，那么softmax的計(jì)算是很方便簡(jiǎn)單的，但對(duì)于上百萬(wàn)甚至上千萬(wàn)的推薦數(shù)據(jù)，這種方法就會(huì)成為訓(xùn)練效率的一個(gè)瓶頸。有什么好的方法可以解決這個(gè)問(wèn)題呢？Hierarchical softmax是深度學(xué)習(xí)中解決高維度輸出的一個(gè)技巧，在NLP領(lǐng)域，經(jīng)典的word2vec就采用Hierarchical softmax來(lái)對(duì)輸出層進(jìn)行建模，我們也借助同樣的思想，把Hierarchical softmax應(yīng)用于推薦數(shù)據(jù)的輸出選擇。

首先來(lái)簡(jiǎn)要的回顧Hierarchical softmax的原理，如果輸出層是常規(guī)的softmax輸出，假設(shè)有V個(gè)候選輸出數(shù)據(jù)，那么，每一時(shí)刻的輸出都需要計(jì)算P(vi|ht)，時(shí)間復(fù)雜度為O(V), Hierarchical softmax的思想是構(gòu)建一顆哈夫曼樹(shù)，我在應(yīng)用中使用歌曲的熱度作為初始權(quán)值來(lái)構(gòu)建哈夫曼樹(shù)，哈夫曼樹(shù)構(gòu)建完成后，可以得到每一首歌曲對(duì)應(yīng)的哈夫曼編碼。從而把softmax輸出層轉(zhuǎn)化為Hierarchical softmax，即多層次輸出，如下圖所示：

對(duì)于任意的輸出數(shù)據(jù)，哈夫曼樹(shù)都必然存在一條從根節(jié)點(diǎn)到葉子結(jié)點(diǎn)(歌曲)的路徑，并且該路徑是的，從根結(jié)點(diǎn)到葉子結(jié)點(diǎn)會(huì)產(chǎn)生L-1個(gè)分支，每一個(gè)分支都可以看成是一個(gè)二元分類，每一個(gè)分類會(huì)產(chǎn)生一個(gè)概率，將這些概率相乘就是我們最后的預(yù)測(cè)值。

通過(guò)層次softmax求取概率，時(shí)間復(fù)雜度從原來(lái)的O(V)下降為O(log(V))。

關(guān)于推薦輸出，除了顯式求解每一首歌的輸出概率之外，我還嘗試了采用流派來(lái)進(jìn)行層次softmax建模，事實(shí)上，在線上環(huán)境中，很多時(shí)候不需要較精確到具體的歌曲，在輸出層，我們可以按流派層次來(lái)建模，第一層是一級(jí)流派標(biāo)簽，選擇了一級(jí)標(biāo)簽之后，進(jìn)入二級(jí)標(biāo)簽的選擇，三級(jí)標(biāo)簽的選擇等等，一般來(lái)說(shuō)標(biāo)簽的數(shù)量相對(duì)歌曲總量來(lái)說(shuō)要少很多，但這種方法也要求標(biāo)簽和曲庫(kù)的體系建設(shè)做到比較完善。

6、測(cè)試效果

模型訓(xùn)練目標(biāo)是最小化下式的損失函數(shù)，目標(biāo)函數(shù)由兩部分構(gòu)成，分別對(duì)應(yīng)于正向數(shù)據(jù)集和負(fù)向數(shù)據(jù)集。

在測(cè)試中，我們收集了QQ音樂(lè)最近的電臺(tái)聽(tīng)歌記錄，共約8千萬(wàn)條聽(tīng)歌序列，并對(duì)數(shù)據(jù)做了必要的預(yù)處理操作，主要包括下面兩點(diǎn)：

去掉了點(diǎn)擊序列小于5首，大于50首的聽(tīng)歌數(shù)據(jù)，去掉序列過(guò)少是為了防止誤點(diǎn)擊，去掉過(guò)長(zhǎng)的聽(tīng)歌序列是為了防止用戶忘記關(guān)掉播放器。

對(duì)于全部是5秒內(nèi)跳過(guò)的聽(tīng)歌序列也同樣去掉，這樣可以有效防止不正當(dāng)?shù)呢?fù)操作過(guò)多對(duì)模型訓(xùn)練產(chǎn)生的影響。

代碼采用Theano深度學(xué)習(xí)框架來(lái)實(shí)現(xiàn)，Theano也是當(dāng)前對(duì)RNN支持較好的深度學(xué)習(xí)框架之一，它的scan機(jī)制使得RNN (包括LSTM, GRU) 的實(shí)現(xiàn)代碼非常優(yōu)雅。下圖是核心遞歸代碼生成的圖結(jié)構(gòu)：

我們分別采用單層LSTM和兩層LSTM來(lái)訓(xùn)練，通過(guò)測(cè)試對(duì)比，兩層的LSTM效果要比單層的提高5%，同時(shí)我們也采用dropout來(lái)防止過(guò)擬合，dropout的效果還是比較明顯，在lr和momentum相同的情況下，取p=0.5, 效果進(jìn)一步提升了3%。

除了前面提到的一些技巧外，還有很多細(xì)節(jié)能幫助我們提高網(wǎng)絡(luò)的訓(xùn)練速度，下面是我用到的其中一些技巧：

【1】Theano的cuda backend當(dāng)前只支持float32，需要將floatX設(shè)置為float32，并且將全部的shared變量設(shè)置為float32。

【2】權(quán)重參數(shù)盡量放在non_sequences中，作為參數(shù)傳遞給遞歸函數(shù)，這樣防止每一次迭代的時(shí)候都需要把參數(shù)反復(fù)重新導(dǎo)入計(jì)算圖中。

【3】為了避免數(shù)據(jù)在顯存和內(nèi)存之間頻繁的交互，我大量采用了sandbox.gpu_from_host來(lái)存儲(chǔ)結(jié)果數(shù)據(jù)，但也對(duì)可移植性造成一定的影響。

【4】最后，theano的調(diào)試是不方便的，靈活使用eval和compute_test_value來(lái)調(diào)試theano。

對(duì)于新數(shù)據(jù)的預(yù)測(cè)，如下圖所示，給出初始的歌曲X0, 模型就能連續(xù)生成輸出序列，但有一點(diǎn)需要注意的是，與數(shù)據(jù)訓(xùn)練不同，新數(shù)據(jù)的生成過(guò)程中，當(dāng)前階段的輸出數(shù)據(jù)也是下一階段的輸入數(shù)據(jù)。

7、小結(jié)

本文是深度學(xué)習(xí)在智能推薦的第二篇實(shí)踐文章，詳細(xì)解析了如何使用LSTM對(duì)用戶的點(diǎn)擊進(jìn)行序列建模，具體包括了如何設(shè)計(jì)lstm的門邏輯，以更好適應(yīng)個(gè)性化推薦場(chǎng)景，dropout正則化，序列的規(guī)整，以及層次softmax解決高維度的推薦結(jié)果輸出。

隨著個(gè)性化推薦的不斷發(fā)展，推薦也早已不局限于淺層的用戶和物品挖掘，但對(duì)用戶行為的挖掘是一個(gè)相對(duì)困難的問(wèn)題，我們也將會(huì)繼續(xù)探索深度學(xué)習(xí)在個(gè)性化推薦領(lǐng)域的研究與落地應(yīng)用。

參考文獻(xiàn)：

【1】Erik Bernhardsson. Recurrent Neural Networks for Collaborative Filtering at Spotify.?

【2】Balázs Hidasi, Alexandros Karatzoglou, Linas Baltrunas, Domonkos Tikk. Session-based Recommendations with Recurrent Neural Networks.

【3】David Zhan Liu, Gurbir Singh. A Recurrent Neural Network Based Recommendation System.

【4】WILDML. RECURRENT NEURAL NETWORKS TUTORIAL.

【5】Andrej Karpathy. The Unreasonable Effectiveness of Recurrent Neural Networks.

【6】Nitish Srivastava, Geoffrey Hinton, Alex Krizhevsky, Ilya Sutskever, Ruslan Salakhutdinov. Dropout: A Simple Way to Prevent Neural Networks from Overfitting.

【7】https://www.quora.com/Has-there-been-any-work-on-using-deep-learning-for-recommendation-engines.

商業(yè)智能與數(shù)據(jù)分析群

興趣范圍包括各種讓數(shù)據(jù)產(chǎn)生價(jià)值的辦法，實(shí)際應(yīng)用案例分享與討論，分析工具，ETL工具，數(shù)據(jù)倉(cāng)庫(kù)，數(shù)據(jù)挖掘工具，報(bào)表系統(tǒng)等全方位知識(shí)

QQ群：81035754