樣本平均數的平均會等於群體平均數, 這稱之為 "不偏性". 或者說, 樣本平均數是
群體平均數的不偏估計. 但並不是所有模仿群體参數定義的樣本統計量 (如樣本平
均數模仿群體平均數, 樣本標準差模仿群體標準差) 都是被模仿對象的不偏估計.
通常線性的統計量 (如樣本平均數, 迴歸係數) 具有不偏性, 非線性則否.
樣本標準差是樣本變異數的平方根, 而後者又是樣本觀測值的二次式 (有觀測值 Xi
的平方項, 和兩兩交叉相乘項), 因此不具有不偏性也是可以預期的.
不過, 如果是樣本變異數, 簡單地將除數的 n 改成 n-1 就可以達到不偏; 如果是樣
本標準差, 在群體是常態分布的時候, 也可以乘上一個和樣本數 n 有關的係數而達
到不偏. 但一般而言, 不偏性不一定可以達到.
早期的統計學者認為 "不偏性" 是一個重要的, 優良的統計量標準. 從直觀上這是合
理的, 或說是理應如此的. 不過, 後來統計學者發現: 不偏性與其說是一個好估計量
的標準, 不如說是選擇估計量的限制. 因為這個限制, 使得一些平均而言誤差較小
的估計量被排除了.