基础补强:把"为什么"讲透
这一页解决"公式我都会,但不知道在说什么"的问题。如果你觉得逐周页里的公式看得懂但不懂意思,先读这一页,再去啃 Week 6 以后的推断内容。
一、先分清四个词:总体、样本、参数、统计量
整门课的语法都建立在这四个词上。它们的关系是这样的:
总体与参数(希腊字母)
你想知道但通常看不到的那群人 / 那批数据,叫 population(总体)。总体的特征值叫 parameter(参数),用希腊字母表示:
- \( \mu \):总体均值(population mean)
- \( \sigma \):总体标准差(population standard deviation)
- \( \pi \):总体比例(population proportion)
参数是固定的常数,但我们不知道它等于多少。
样本与统计量(罗马字母)
你实际测量到的那一小部分,叫 sample(样本)。由样本算出的值叫 statistic(统计量),用罗马字母表示:
- \( \bar{x} \):样本均值
- \( s \):样本标准差
- \( p \):样本比例
统计量是随机的,换个样本就变;它是我们唯一能看到的东西。
后面的每一道检验题都要求你"define the symbol"。写 \( \bar{x} \) 还是 \( \mu \) 决定你懂不懂自己在说什么。记住一句话:希腊字母 = 想知道的真相,罗马字母 = 手上看到的证据。
1.1 描述统计 vs 推断统计
这是本课程的两半:描述统计(Ch 3–7)是"把手上这批数据汇总、画图、算指标";推断统计(Ch 8、9、10、12)是"用手上这批数据去猜看不到的总体"。前者是手段,后者才是这门课真正的目标。
二、概率:给不确定性一个数字
概率就是把"有多可能"变成一个 0 到 1 之间的数。QM1 只用到三条法则,必须背到条件反射。
互斥(mutually exclusive):\( A\cap B=\varnothing \),不能同时发生。独立(independent):\( P(A\cap B)=P(A)P(B) \),即 \( P(A\mid B)=P(A) \)。
独立 ≠ 互斥!事实上,两个概率不为 0 的互斥事件一定不独立(知道 A 发生了,就知道 B 不可能发生,B 的概率被改变了)。
三、随机变量与分布
随机变量(random variable)就是把"结果"映射成"数字"的规则。离散型(discrete)取值可数(如"抽到几个次品");连续型(continuous)取值是区间上的任意数(如"服务时长")。
四、正态分布与 z 分数
正态分布是本课程的"万能参考形状":对称、单峰、钟形,由 \( \mu \) 和 \( \sigma \) 完全决定。任何正态变量都能通过 z 分数标准化成标准正态 \( N(0,1) \)。
\( |z| > 2 \) 通常称为 unusual;\( |z| > 3 \) 才称为 outlier。这是描述统计题里的独立得分点,要写一句话理由。
五、抽样分布:整门课的转折点
要解决的问题:我只抽了一个样本,凭什么推断整个总体?
关键在于一个观念转换:样本均值 \( \bar{x} \) 本身也是随机的。今天抽 30 个人、明天再抽 30 个人,两次会得到不同的 \( \bar{x} \)。这些 \( \bar{x} \) 会形成一个分布,叫抽样分布(sampling distribution)。注意:它是"统计量"的分布,不是"原始数据"的分布。
这个分布有三个好消息:
① 中心对
它的中心就是 \( \mu \)。所以 \( \bar{x} \) 是 \( \mu \) 的无偏估计量(unbiased)。
② 离散度小
它的标准差是 \( \sigma/\sqrt{n} \)。样本量越大,\( \bar{x} \) 越集中。
③ 形状近似正态
不管原始数据长什么样,只要 n 够大,它近似正态——这就是 CLT。
5.1 中心极限定理(CLT)
无论总体分布如何,当样本量 \( n \) 足够大(经验法则 \( n\ge 30 \))时,样本均值 \( \bar{x} \) 的抽样分布近似正态。这是本课程一切 z 与 t 推断的"许可证"。
六、t 分布:σ 未知时的替代品
现实中我们几乎不可能知道总体的 \( \sigma \),只能用样本的 \( s \) 代替。这个替换带来了额外的不确定性,于是标准正态 z 不再适用,要用 t 分布。t 分布是一整族分布,由一个叫自由度(degrees of freedom, df)的参数决定。
| 特征 | z(标准正态) | t(df) |
|---|---|---|
| 何时用 | \( \sigma \) 已知(或 n 很大) | \( \sigma \) 未知、用 \( s \) 代替 |
| 形状 | 固定 | 一族,df 越小越厚尾 |
| 同置信水平下临界值 | 更小(如 95% 双尾 1.960) | 更大(df=9 时 2.262) |
| df 变大时 | — | 收敛到 z |
七、自由度(df):别再用错
"自由度"可以粗糙地理解为"数据里有几个信息是自由的"。它决定了查哪张 t 表。95% 的失分都在用错 df。
| 情形 | df | 记忆法 |
|---|---|---|
| 单样本均值 t | \( n-1 \) | 估了 1 个参数(均值) |
| 配对 t | \( n-1 \) | n 是"对"的个数 |
| 独立样本,方差假定相等(Case 2) | \( n_1+n_2-2 \) | 估了 2 个均值 |
| 独立样本,方差假定不等(Case 3,QM1 用) | Welch 公式,向下取整 | 见下 |
| 回归系数 t | \( n-2 \) | 估了 2 个系数 (最容易错) |
| 比例检验 / 比例 CI | — | 用 z 分布,无 df |
八、p 值:不要再背"小于 α 就拒绝"
p 值回答的问题是:"如果 \( H_0 \) 是真的,我有多大概率看到像我手上这么极端(或更极端)的数据?" 它是"证据强度"的度量,不是"\( H_0 \) 为真的概率"。
| p 值 | 翻译成白话 | 你应该怎么想 |
|---|---|---|
| 0.90 | "看到这个数据太正常了" | 完全没有反驳 \( H_0 \) 的证据 |
| 0.30 | "有点巧合,但很常见" | 证据不足 |
| 0.06(α=0.05) | "巧合的概率只有 6%,但还没到 5%" | 不能拒绝,但可提"marginal evidence" |
| 0.04(α=0.05) | "巧合的概率只有 4%" | 拒绝 \( H_0 \) |
| 0.0001 | "几乎不可能纯属巧合" | 强证据拒绝 \( H_0 \) |
✗ "p = 0.04 说明 \( H_0 \) 有 4% 的概率为真。" —— 错。p 值不以 \( H_0 \) 为随机变量。
✗ "p = 0.04 说明效应很大。" —— 错。p 值衡量证据强度,不是效应大小;样本量极大时,微不足道的差异也会给出很小的 p 值。
✓ "If \( H_0 \) were true, the probability of observing a test statistic at least as extreme as 1.975 is 0.024. Since 0.024 < 0.05, we reject \( H_0 \)."
九、四个"含义类"概念(考试直接可用的原话)
| 概念 | 一句话定义(英文,考试可直接用) |
|---|---|
| 标准误 SE | The standard deviation of the sampling distribution of an estimator. |
| 无偏估计量 | An estimator whose expected value equals the true population parameter. |
| 95% 置信区间 | If we repeatedly drew samples and constructed intervals this way, 95% of those intervals would contain the true population parameter. |
| p 值 | The probability, assuming \( H_0 \) is true, of obtaining a test statistic at least as extreme as the one observed. |
| 检验功效 Power | The probability of correctly rejecting a false null hypothesis (\( 1-\beta \)). |
十、3 分钟自测
读到这里,你已经补齐了进入 Week 6 之前的全部前置概念。接下来按 21 天计划 推进,从 Week 6 开始就是真正拿分的战场。
慢一点没关系,但要一直在往前。