摘要：淋巴細(xì)胞是白細(xì)胞的一個亞種，在免疫系統(tǒng)中很重要?；疾』蛴挟愇锏膮^(qū)域淋巴細(xì)胞數(shù)量會極大增加，所以通過確認(rèn)和定量淋巴細(xì)胞的密度和位置有助于評估疾病。本節(jié)目標(biāo)是確定淋巴細(xì)胞的中心，是一個檢測任務(wù)。常見的假陽性和真實正例見圖。

Deep learning for digital pathology image analysis: A comprehensive tutorial with selected use cases
Andrew Janowczyk, Anant Madabhushi

本文共考察了7個數(shù)字病理學(xué)的實例，具體見表1。

Challenge
淋巴細(xì)胞是白細(xì)胞的一個亞種，在免疫系統(tǒng)中很重要。患病或有異物的區(qū)域淋巴細(xì)胞數(shù)量會極大增加，所以通過確認(rèn)和定量淋巴細(xì)胞的密度和位置有助于評估疾病。
淋巴細(xì)胞在吸收了著色劑后呈淡藍(lán)色，在色調(diào)上與細(xì)胞核相近，所以在某些情況下難以區(qū)分。但是淋巴細(xì)胞一般要更小，分布更密集，形狀也偏圓形。本節(jié)目標(biāo)是確定淋巴細(xì)胞的中心，是一個檢測任務(wù)。
Patch selection technique
放大倍率40的圖像中淋巴細(xì)胞約10x10像素，遠(yuǎn)小于32x32的出入尺寸，這樣樣本中90%都是無效區(qū)域，會影響模型性能，所以將圖像再放大4倍，使淋巴細(xì)胞幾乎占滿輸入圖像。
選取以淋巴細(xì)胞中心位置3x3的鄰域為中心的區(qū)域為正樣本區(qū)域；負(fù)樣本的選取如下：(a)隨機選取1000個像素點，訓(xùn)練一個樸素貝葉斯分類器，計算該圖像所有像素點的后驗概率(b)計算所有假陽性像素點和距離它最近的真實正樣本像素點的距離(c)選擇距離最大的部分像素點為中心的區(qū)域為負(fù)樣本。正樣本的數(shù)量較少，加入額外的旋轉(zhuǎn)樣本來擴充訓(xùn)練集。
測試階段，計算測試圖像中所有像素點的后驗概率，然后使用環(huán)狀核（disk kernel）卷積操作篩選出概率最大的區(qū)域，選取概率最高的點為中心點，并去除周邊對中心點的預(yù)測位置，一般淋巴細(xì)胞的尺寸基本一致，這樣可以避免在同一個淋巴細(xì)胞中預(yù)測多個中心點。
Results and Discussion
5折交叉驗證集，每折包含約80張訓(xùn)練圖像和21張測試圖像，正負(fù)樣本數(shù)量比例1:1，包含一些旋轉(zhuǎn)處理（180、270）的正樣本，共700k個訓(xùn)練圖像塊。使用其中的1折來確定各種參數(shù)（如清除的半徑、卷積操作的尺寸、閾值等），然后應(yīng)用于其他折數(shù)據(jù)上。最終結(jié)果為平均F-score=0.90±0.01，平均TPR=0.93±0.01，PPV=0.87±0.02，圖8顯示了該方法可以檢測大部分的淋巴細(xì)胞，但位于邊界的細(xì)胞無法檢測。

Challenge
每個高倍視野中有絲分裂的數(shù)量對于乳腺癌等級非常重要。一般來說，癌癥越具有侵略性則細(xì)胞分裂更快，可以通過統(tǒng)計組織切片中的有絲分裂來進(jìn)行估計。當(dāng)前的定級策略分三級，在每10個高倍視野中發(fā)現(xiàn)(i)小于7個有絲分裂(ii)8-14個(iii)大于等于15個。
在實際中病理學(xué)家是通過改變光學(xué)顯微鏡的焦距來觀察有絲分裂的三維結(jié)構(gòu)，這樣可以排除假陽性的判斷，所以在二維數(shù)字病理圖像上對有絲分裂進(jìn)行準(zhǔn)確判定是很有挑戰(zhàn)性的。
Patch selection technique
調(diào)整放大倍數(shù)，確保一個圖像塊中就包含完整的有絲分裂圖像，這樣可以提供足夠的環(huán)境信息。這對后期或末期的有絲分裂尤為重要，另外基準(zhǔn)點的坐標(biāo)實際是位于兩個新細(xì)胞的中間位置。
選取以基準(zhǔn)點鄰域4x4為中心的區(qū)域作為正樣本圖像塊，并增加多角度旋轉(zhuǎn)操作（0、45、90、135、180、215、270）來擴充正樣本規(guī)模。blue-ratio分割方法可以突出有絲分裂區(qū)域（如圖9a），在此基礎(chǔ)上使用膨脹操作（如圖9b），在這些區(qū)域中選取負(fù)樣本，可以去除不重要的樣本。選取比正樣本多2.5倍的負(fù)樣本并旋轉(zhuǎn)（0、90、190、270）度，這樣可以包含更多不同的區(qū)塊。
先構(gòu)建一個如文獻(xiàn)[8]中的模型，使用樸素貝葉斯計算訓(xùn)練集中樣本的概率掩碼，然后新建一個模型，過采樣第一個模型判斷的假陽性樣本為訓(xùn)練集，這樣就可以更多的聚焦于分類更困難的樣本。特別的，對于基準(zhǔn)點會增加15度間隔的旋轉(zhuǎn)正樣本。對于負(fù)類只考慮它們位于blue ratio生成的掩碼中的概率，并按照它們的權(quán)重進(jìn)行采樣，這樣可以得到那些被錯誤的判定為有絲分裂的負(fù)樣本。這個方法最終得到約600k圖像塊用于第一階段的訓(xùn)練，4百萬圖像塊用于第二階段的訓(xùn)練。為了最終定位細(xì)胞有絲分裂，使用環(huán)形核卷積操作并設(shè)定閾值來判定。

Results and Discussion
數(shù)據(jù)分5折，使用第一階段模型平均F-score=0.37±0.2，加上第二階段模型后平均F-score=0.54±0.1，說明使用連續(xù)的網(wǎng)絡(luò)可以極大提高性能，其中第二個模型的訓(xùn)練集是第一個模型預(yù)測的假陽性樣本。本文的結(jié)果只比最佳的文獻(xiàn)[8]稍低，但是[8]是在放大倍率40圖像塊101x101上進(jìn)行，要比本文有更強的分類能力。當(dāng)使用交叉驗證時不同折的閾值變換很大，那么評估訓(xùn)練模型時需要一個獨立的驗證集。常見的假陽性和真實正例見圖10。

Challenge
淋巴瘤的三個子類型：chronic lymphocytic leukemia (CLL)、follicular lymphoma (FL)、mantle cell lymphoma (MCL)。該數(shù)據(jù)集可反映真實狀況，包含了不同位置并由不同病理學(xué)家預(yù)處理的樣本，額外選取了一些樣本使得樣本集中著色差異更大，樣本示例見圖11。

Patch selection technique
生成訓(xùn)練集時，先將圖像拆解為36x36的圖像塊，然后利用Caffe在訓(xùn)練時隨機剪切32x32。在測試階段使用相同的方法，并使用投票的方法決定最終結(jié)果，得到最高票的類別就是整張圖像的預(yù)測類別。
Results and Discussion
5折交叉驗證集，每折包含約300張訓(xùn)練圖像和75張測試圖像，共825k個訓(xùn)練圖像塊。平均準(zhǔn)確率96.58%±0.01%，這比wnd-chrm軟件提高了10%，這兩個方法使用了相同的數(shù)據(jù)集，并且都沒有參考專業(yè)領(lǐng)域知識。
誤分類的情況一般都是因為圖像質(zhì)量差，如圖12所示，這張圖像預(yù)測投票CLL814票，F(xiàn)L562票，MCL0票，這也顯示了最終判斷的不確定性。正常的正確分類預(yù)測結(jié)果相差會很大，例如{5,1357,14}，這說明如果投票不呈現(xiàn)一家獨大的情況時應(yīng)該人工確認(rèn)。

從本文的實驗中可以看出以下幾點：
（一）dropout在這些實驗中并沒有性能提升，可能是因為使用的數(shù)據(jù)集規(guī)模都比較大，有足夠的樣本避免了過擬合；
（二）最重要的就是對于不同的任務(wù)選擇合適的放大倍率，一般的原則就是保證病理學(xué)家可以在剪切的圖像塊中有足夠的環(huán)境信息來做出正確的判斷；
（三）本文主要工作就是探索簡單但魯棒的方法來確定選取具有挑戰(zhàn)性的訓(xùn)練樣本，這些樣本包含更多信息。隨機選取的樣本中有很多不重要的，并不能提升網(wǎng)絡(luò)的學(xué)習(xí)能力。另一個技術(shù)就是使用連續(xù)兩個分類階段來確定重要樣本，過采樣第一階段的假陽/陰性樣本用于訓(xùn)練第二階段的分類器。
（四）深度學(xué)習(xí)由數(shù)據(jù)驅(qū)動，一般人工標(biāo)注并不會精細(xì)到像素級，如果提高標(biāo)記信息的精度則可以提升網(wǎng)絡(luò)性能，人工標(biāo)注與DL預(yù)測的差異見圖5。可以先使用DL產(chǎn)生高質(zhì)量的基準(zhǔn)標(biāo)注，然后領(lǐng)域?qū)＜以诖嘶A(chǔ)上進(jìn)行修正。
（五）醫(yī)療領(lǐng)域的數(shù)據(jù)集復(fù)雜度很高，所以衡量模型性能應(yīng)該針對同一數(shù)據(jù)集。

本文展示了使用深度學(xué)習(xí)算法處理數(shù)字病理學(xué)中多種圖像分析任務(wù)，提出一些網(wǎng)絡(luò)架構(gòu)、數(shù)據(jù)處理等指導(dǎo)意見，并在七個實例中進(jìn)行分析。
本文指南也存在一些限制。平均同一個圖像塊不同旋轉(zhuǎn)角度的預(yù)測可以減小輸出結(jié)果的方差。融合多個網(wǎng)絡(luò)（如不同架構(gòu)、不同初始化等）可提高性能。
本文的方法沒有參考領(lǐng)域相關(guān)的先驗知識，但是同時使用領(lǐng)域相關(guān)設(shè)計的特征和深度學(xué)習(xí)算法應(yīng)該可以提升模型性能。
計算效率也是需要考慮的問題。另外blue-ratio分割和color deconvolution可以作為深度學(xué)習(xí)處理數(shù)字病理學(xué)圖像的預(yù)處理方法。
本文所使用的方法并不是最優(yōu)的，可以根據(jù)實際任務(wù)調(diào)整各種設(shè)置。

注：對于文中醫(yī)學(xué)相關(guān)的名詞翻譯可能不準(zhǔn)確，如有異議請指正。