統計學上的試驗概述

在資料分析上面，群體的資料統計分析非常常用，譬如我進行一個二類分析（二類預測），我們需要對比這兩個群體的feature“分布”是否“相似”。如果相似，這個feature作用不大，如果顯著不一樣，那麼這個feature非常有用。然後我們需要進行一些試驗（tests）對比feature的分布。

基本概念

去分析一個問題，我們總需要由一些基本概念開始。

我們總是一個變量“variable”去定量地描述一個物體。譬如下面的表格由兩個變量描述一個人，Height高度和Sex性别。

Height	Sex
170.3 cm	M
160.0 cm	F
168.0 cm

統計上，可以把一個變量variable分為qualitative variable和quantitative variable。Qualitative variable是指分類的變量，譬如上面的Sex/性别屬于qualitative variable. Quantitative variable是數值型的描述，上面的Height屬于quantitative variable。

常用的統計試驗 tests

由于每個試驗（tests）的值的scale都不一樣，最後，統計學家把所有試驗的輸出值都歸一化為p value。

t-test用于對比小群體，這兩個群體由quantitative variable組成。t-test一般用于小于30個樣本的群體。t-test不需要知道群體的variance。t-test是基于mean，用于對比兩個分布是否顯著不一樣。（當p value低于0.05的時候，兩個群體顯著不一樣）。

z-test用于對打大群體，這兩個群體由quantitative variable組成。z-test一般用于大于30個樣本的群體。z-test需要知道群體的variance和mean。用于對比兩個分布是否顯著不一樣。當p value低于0.05的時候，兩個群體顯著不一樣。

f-test指基于variance的對比, 這兩個群體由quantitative variable組成。當p value低于0.05的時候，兩個群體顯著不一樣。

Pearson's chi-squared test是基于category變量的試驗，意思說每個事件的變量輸出的獨立的，下面的wikipedia的例子計算“男女兩個群體和左右手習慣是否兩個獨立事件”，結論是我們不能否定“男女”和“慣用左右手”沒有關系。

https://zh.wikipedia.org/wiki/%E7%9A%AE%E7%88%BE%E6%A3%AE%E5%8D%A1%E6%96%B9%E6%AA%A2%E5%AE%9A

男	女	總計
右	43	44	87
左	9	4	13
	52	48	100

這個方法廣泛用于AB測試中，對比不同的方法，效果（譬如點選率）是否有明顯的增加。