亚洲中字慕日产2020,大陆极品少妇内射AAAAAA,无码av大香线蕉伊人久久,久久精品国产亚洲av麻豆网站

資訊專欄INFORMATION COLUMN

Faiss優(yōu)化:針對(duì)OMP_NUM_THREADS環(huán)境變量設(shè)置的測(cè)試驗(yàn)證

wangtdgoodluck / 2363人閱讀

摘要：前言記錄一下在項(xiàng)目使用中的一些優(yōu)化，對(duì)環(huán)境變量參數(shù)的測(cè)試驗(yàn)證用于控制線程并發(fā)數(shù)測(cè)試條件單個(gè)循環(huán)請(qǐng)求，持續(xù)時(shí)間大于基礎(chǔ)數(shù)據(jù)軟件環(huán)境檢索服務(wù)功能漢明距離計(jì)算歐式距離計(jì)算結(jié)論測(cè)試總結(jié)如下時(shí)，分布為，，用戶空間占比內(nèi)核空間占比空閑占比檢索耗

前言

記錄一下Faiss在項(xiàng)目使用中的一些優(yōu)化，對(duì)OMP_NUM_THREADS 環(huán)境變量參數(shù)的測(cè)試驗(yàn)證～

   OMP_NUM_THREADS 用于控制線程并發(fā)數(shù).

   測(cè)試條件：?jiǎn)蝹€(gè)循環(huán)請(qǐng)求，持續(xù)時(shí)間大于15m;
   基礎(chǔ)數(shù)據(jù)：200w
   軟件環(huán)境：docker; ubuntu 16.04 ;python2.7; faiss:1.4.0-cpu
   檢索服務(wù)功能: (漢明距離計(jì)算 + 歐式距離計(jì)算 )
結(jié)論： 
    測(cè)試總結(jié)如下：
        * CPU=1 & OMP_NUM_THREADS=1時(shí)，
         - 1m,5m,15m load average 分布為 31.54，41.16，43.43;
         - CPUs(%) 用戶空間占比：32.1;內(nèi)核空間占比:2.4;空閑占比：65.2；
         - faiss 檢索耗時(shí)大約在5-6ms左右；
         - 檢索服務(wù)整體響應(yīng)時(shí)間較平穩(wěn)，大部分在12ms左右;
    * CPU=3 & OMP_NUM_THREADS=1時(shí)，
         - 1m,5m,15m load average 分布為 49.17，48.70，50.54;
         - CPUs(%) 用戶空間占比：39.5;內(nèi)核空間占比:4.2;空閑占比：30.3；
         - faiss 檢索耗時(shí)大約在5-7ms左右；
         - 檢索服務(wù)整體響應(yīng)時(shí)間較平穩(wěn)，大部分耗時(shí)在12ms左右;
    * CPU=3 & OMP_NUM_THREADS=10時(shí),
         - 1m,5m,15m load average 分布為 41.33，43.90，55.87;
         - CPUs(%) 用戶空間占比：20.7;內(nèi)核空間占比:2.3;空閑占比：58.0；
         - faiss 檢索耗時(shí)不穩(wěn)定，抖動(dòng)較大, 大約在10-90ms左右；
         - 檢索服務(wù)整體響應(yīng)時(shí)間存在抖動(dòng)，大約在14-92ms左右;
    * CPU=1 & OMP_NUM_THREADS=10時(shí),
         - 1m,5m,15m load average 分布為 67.77，61.89，61.07;
         - CPUs(%) 用戶空間占比：20.6;內(nèi)核空間占比:2.9;空閑占比：18.2；
         - faiss 檢索耗時(shí)不穩(wěn)定，抖動(dòng)較大, 大約在5-80ms左右；
         - 檢索服務(wù)整體響應(yīng)時(shí)間存在抖動(dòng)，大約在13-99ms左右;

    最終結(jié)論：
           a: OMP_NUM_THREADS=1時(shí)，faiss檢索耗時(shí)較穩(wěn)定;
        b: OMP_NUM_THREADS=10時(shí)，faiss檢索耗時(shí)不穩(wěn)定，抖動(dòng)較大;
        b: OMP_NUM_THREADS=1時(shí), 多核CPU相較于單核CPU，負(fù)載略高，利用率略高，空閑占比較低；
        c: OMP_NUM_THREADS=10時(shí), 多核CPU相較于單核CPU，負(fù)載較低，利用率較低，空閑占比較高；
        d: 優(yōu)化方向：OMP_NUM_THREADS=1 + 多進(jìn)程
測(cè)試結(jié)果統(tǒng)計(jì)： * CPU=1 & OMP_NUM_THREADS=1



* CPU=3 & OMP_NUM_THREADS=1



* CPU=3 & OMP_NUM_THREADS=10



* CPU=1 & OMP_NUM_THREADS=10



文章版權(quán)歸作者所有，未經(jīng)允許請(qǐng)勿轉(zhuǎn)載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。

轉(zhuǎn)載請(qǐng)注明本文地址：http://www.ezyhdfw.cn/yun/42858.html

相關(guān)文章

  • Faiss利用mkl加速,構(gòu)建索引訓(xùn)練時(shí)出錯(cuò)。

    摘要：前言記錄一下構(gòu)建索引訓(xùn)練時(shí)碰到的一個(gè)坑。問題利用英特爾庫(kù)加速。時(shí)報(bào)如下錯(cuò)誤解決方案在調(diào)用之前導(dǎo)入調(diào)用。代碼如下為什么這么做，我還不太理解。猜測(cè)是安裝版本兼容的問題。具體可以看我提的補(bǔ)充如出現(xiàn)導(dǎo)入失敗的情況。如解決方式如下執(zhí)行轉(zhuǎn)自個(gè)人博客 前言記錄一下faiss構(gòu)建索引訓(xùn)練時(shí)碰到的一個(gè)坑。Intel MKL FATAL ERROR: Cannot load libmkl_avx2.so ...

    SnaiLiu 評(píng)論0 收藏0

  • 阿里云啟動(dòng) AliSQL 邀測(cè)，性能提升 70%

    摘要：云棲大會(huì)北京峰會(huì)上，阿里云宣布啟動(dòng)數(shù)據(jù)庫(kù)開源項(xiàng)目。日前，用戶內(nèi)測(cè)邀請(qǐng)正式啟動(dòng)。測(cè)試報(bào)告樣例阿里云關(guān)系數(shù)據(jù)庫(kù)服務(wù)內(nèi)核開發(fā)和運(yùn)維團(tuán)隊(duì)負(fù)責(zé)人，活躍的社區(qū)貢獻(xiàn)者丁奇表示，在通用基準(zhǔn)測(cè)試場(chǎng)景下，版本比官方版本有著的性能提升。 2016 云棲大會(huì)·北京峰會(huì)上，阿里云宣布啟動(dòng) AliSQL 數(shù)據(jù)庫(kù)開源項(xiàng)目。日前，用戶內(nèi)測(cè)邀請(qǐng)正式啟動(dòng)。根據(jù)阿里云數(shù)據(jù)庫(kù)團(tuán)隊(duì)的規(guī)劃，今年 10 月，開發(fā)者將可以在阿里云 Cod...

    weij 評(píng)論0 收藏0

發(fā)表評(píng)論

0條評(píng)論

最新活動(dòng)
閱讀需要支付1元查看
<