摘要：文章內(nèi)容相似度計(jì)算幾種方式及優(yōu)缺點(diǎn)內(nèi)置方法是內(nèi)置的字符串相似度對比函數(shù)，是使用方式最便捷的一種但是因?yàn)樗臅r(shí)間復(fù)雜度是，處理時(shí)間會(huì)隨著內(nèi)容長度增加若比較字以上的文章，或者比較文章的量級比較大不建議使用只是單篇文章對單篇文章可以使用。

similar_text 是PHP內(nèi)置的字符串相似度對比函數(shù)，是使用方式最便捷的一種,但是因?yàn)樗臅r(shí)間復(fù)雜度是 O(N**3)，處理時(shí)間會(huì)隨著內(nèi)容長度增加,若比較5000字以上的文章，或者比較文章的量級比較大不建議使用,只是單篇文章對單篇文章可以使用。

解決方案是首先進(jìn)行文章分詞可以用結(jié)巴或者迅搜分詞服務(wù)進(jìn)行文章分詞,然后將需要對比的文章分詞結(jié)果存入redis，在有新文章進(jìn)行對比的時(shí)候從redis將所有文章的分詞結(jié)果從內(nèi)存中取出來然后進(jìn)行相似度對比，逐詞進(jìn)行相似度計(jì)算。相似度計(jì)算的準(zhǔn)確性很高，但是對比的文章量非常大的時(shí)候,處理時(shí)間還是會(huì)很長,5000文章的相似度計(jì)算需要近30S

主要計(jì)算代碼：

Class TextSimilarity
{
    /**
     * [排除的詞語]
     *
     * @var array
     */
    private $_excludeArr = array("的", "了", "和", "呢", "啊", "哦", "恩", "嗯", "吧");

    /**
     * [詞語分布數(shù)組]
     *
     * @var array
     */
    private $_words = array();

    /**
     * [分詞后的數(shù)組一]
     *
     * @var array
     */
    private $_segList1 = array();

    /**
     * [分詞后的數(shù)組二]
     *
     * @var array
     */
    private $_segList2 = array();

    private static $test1 = array();
    private static $test2 = array();

    /**
     * [分詞兩段文字]
     *
     * @param [type] $text1 [description]
     * @param [type] $text2 [description]
     */
    public function __construct($text1, $text2)
    {
        $this->_segList1 = is_array( $text1 ) ? $text1 : $this->segment( $text1 );
        $this->_segList2 = is_array( $text2 ) ? $text2 : $this->segment( $text2 );
    }

    /**
     * [外部調(diào)用]
     *
     * @return [type] [description]
     */
    public function run()
    {
        $this->analyse();
        $rate = $this->handle();
        return $rate ? $rate : "errors";
    }

    /**
     * [分析兩段文字]
     */
    private function analyse()
    {
        //t1
        foreach ($this->_segList1 as $v) {
            if (!in_array($v, $this->_excludeArr)) {
                if (!array_key_exists($v, $this->_words)) {
                    $this->_words[$v] = array(1, 0);
                } else {
                    $this->_words[$v][0] += 1;
                }
            }
        }

        //t2
        foreach ($this->_segList2 as $v) {
            if (!in_array($v, $this->_excludeArr)) {
                if (!array_key_exists($v, $this->_words)) {
                    $this->_words[$v] = array(0, 1);
                } else {
                    $this->_words[$v][1] += 1;
                }
            }
        }
    }

    /**
     * [處理相似度]
     *
     * @return [type] [description]
     */
    private function handle()
    {
        $sum = $sumT1 = $sumT2 = 0;
        foreach ($this->_words as $word) {
            $sum += $word[0] * $word[1];
            $sumT1 += pow($word[0], 2);
            $sumT2 += pow($word[1], 2);
        }

        $rate = $sum / (sqrt($sumT1 * $sumT2));
        return $rate;
    }

    /**
     * [分詞  【http://www.xunsearch.com/scws/docs.php#pscws23】]
     *
     * @param [type] $text [description]
     *
     * @return [type] [description]
     *
     * @description 分詞只是一個(gè)簡單的例子，你可以使用任意的分詞服務(wù)
     */
    private function segment( $text )
    {
        $outText = array();
        $xs = new XS("demo");  // 必須先創(chuàng)建一個(gè) xs 實(shí)例，否則會(huì)拋出異常
        $tokenizer = new XSTokenizerScws;   // 直接創(chuàng)建實(shí)例
        $tokenizer->setIgnore();
        //處理
        $outText = $tokenizer->setMulti(1)->getResult($text);
        $outText = array_column( $outText, "word");
        $res = $xs->getScwsServer();
        $res->close();
        return $outText;
    }
}
    

SimHash的原理是將很長的一段文字降維成一個(gè)0和1組成的字符串,然后計(jì)算兩個(gè)01字符串的相似度，從而算出兩篇文章的相似程度。也是將文章先分詞,計(jì)算存量文章的相似度存入redis或者mysql，需要的時(shí)候取出來對比,對比速度20000篇文章的計(jì)算時(shí)間基本上在2s以內(nèi)，但是當(dāng)文章字?jǐn)?shù)非常小并且重復(fù)詞非常多的時(shí)候會(huì)出現(xiàn)文章不相同但是相似度非常高的問題。
主要計(jì)算代碼：

    class SimHash
{
    protected static $length = 256;
    protected static $search = array("0","1","2","3","4","5","6","7","8","9","a","b","c","d","e","f");
    protected static $replace = array("0000","0001","0010","0011","0100","0101","0110","0111","1000","1001","1010","1011","1100","1101","1110","1111");
    /**
     * [排除的詞語]
     *
     * @var array
     */
    private static $_excludeArr = array("的", "了", "和", "呢", "啊", "哦", "恩", "嗯", "吧","你","我"," ");

    public static function get(array &$set)
    {
        $boxes = array_fill(0, self::$length, 0);
        if (is_int(key($set)))
            $dict = array_count_values($set);
        else
            $dict = &$set;

        foreach ($dict as $element => $weight) {
            if ( in_array($element, self::$_excludeArr )){
                continue;
            }

            $hash = hash("sha256", $element);
            $hash = str_replace(self::$search, self::$replace, $hash);
            $hash = substr($hash, 0, self::$length);
            $hash = str_pad($hash, self::$length, "0", STR_PAD_LEFT);

            for ( $i=0; $i < self::$length; $i++ ) {
                $boxes[$i] += ($hash[$i] == "1") ? $weight : -$weight;
            }
        }
        $s = "";
        foreach ($boxes as $box) {
            if ($box > 0)
                $s .= "1";
            else
                $s .= "0";
        }
        return $s;
    }

    public static function hd($h1, $h2)
    {
        $dist = 0;
        for ($i=0;$i