摘要：樣本均值的方差是總體方差的為樣本容量，這個(gè)結(jié)論是針對(duì)有放回抽樣的。某些情況下配對(duì)樣本比較難實(shí)現(xiàn)，比如藥物雙盲試驗(yàn)，患者不能既服用安慰劑又服用藥物。樣本方差和總體方差的比值，符合分布。

有放回？無(wú)放回？

從總體中隨機(jī)抽取一個(gè)容量為n的樣本，當(dāng)樣本容量 n足夠大(通常要求n ≥30)時(shí)，無(wú)論總體是否符合正態(tài)分布，樣本均值都會(huì)趨于正態(tài)分布。期望和總體相同，方差為總體的1/n。這即是中心極限定理，是A/B測(cè)試數(shù)據(jù)分析的基礎(chǔ)。

然而抽樣分為有放回和無(wú)放回兩種。樣本均值的方差是總體方差的1/n（n為樣本容量），這個(gè)結(jié)論是針對(duì)有放回抽樣的。實(shí)際試驗(yàn)中，大部分是無(wú)放回的，這樣流程比較簡(jiǎn)單。無(wú)放回抽樣，樣本均值方差見(jiàn)下。觀察公式可知道，當(dāng)總體容量比樣本容量大很多倍時(shí)，樣本均值的方差可以近似為總體方差的1/n。

配對(duì)樣本？獨(dú)立樣本？

當(dāng)兩個(gè)樣本的獲取存在關(guān)聯(lián)時(shí)，稱(chēng)為配對(duì)樣本。例如比較人早晚身高變化，如果早上身高的樣本包含了張三，則晚上身高的樣本也要包含張三。

某些情況下配對(duì)樣本比較難實(shí)現(xiàn)，比如藥物雙盲試驗(yàn)，患者不能既服用安慰劑又服用藥物。這時(shí)只能使用獨(dú)立樣本，隨機(jī)分配個(gè)體進(jìn)入兩個(gè)樣本，認(rèn)為2個(gè)樣本的個(gè)體統(tǒng)計(jì)上不存在差別。同時(shí)患者不知道自己服用的是安慰劑還是藥物，消除心理作用的影響。

互聯(lián)網(wǎng)產(chǎn)品的A/B測(cè)試和新藥試驗(yàn)類(lèi)似，理論上說(shuō)應(yīng)該讓同一組用戶(hù)同時(shí)看到多個(gè)版本進(jìn)行比較，或者是看完一個(gè)版本后用時(shí)間機(jī)器倒回去再看另一個(gè)版本。顯然無(wú)法做到，只能選取試驗(yàn)用戶(hù)時(shí)足夠的隨機(jī)，讓兩組用戶(hù)從統(tǒng)計(jì)意義上相同，認(rèn)為偏差都是產(chǎn)品版本造成的。

樣本方差？總體方差？
A/B測(cè)試計(jì)算置信區(qū)間的公式：

置信區(qū)間計(jì)算公式中的方差項(xiàng)，理論上應(yīng)該使用總體方差。而總體方差沒(méi)法知道，只能用樣本方差來(lái)代替了。好在樣本方差是總體方差的無(wú)偏估計(jì)。樣本方差和總體方差的比值，符合χ2分布。

時(shí)變？時(shí)不變？
A/B測(cè)試需要假設(shè)產(chǎn)品用戶(hù)的訪(fǎng)問(wèn)習(xí)慣不會(huì)隨著時(shí)間的推移而發(fā)生變化。很遺憾在某些情況下并不是這樣。某些產(chǎn)品存在很明顯的季節(jié)因素，例如旅游。一般的A/B測(cè)試周期會(huì)包含休息日和工作日，但很難包含多個(gè)季節(jié)，在外推測(cè)試結(jié)論時(shí)要十分謹(jǐn)慎。另外強(qiáng)烈的外部事件會(huì)對(duì)用戶(hù)產(chǎn)生刺激，要避免在這種情況下進(jìn)行A/B測(cè)試，盡量在平穩(wěn)時(shí)期進(jìn)行。

本文作者：吆喝科技高級(jí)客戶(hù)成功專(zhuān)家 韓剛