在统计学 中，拉奥-布莱克韦尔定理 (Rao–Blackwell theorem)，有时称为拉奥-布莱克韦尔定理-柯尔莫果洛夫定理 ，是一项结果，它描述了如何将任意粗糙的估计量 转化为通过均方误差 准则或任何一种类似准则优化的估计量。
定理指出，如果g(X)是某个参数θ的任何一种估计量 ，那么在给定充分统计量 T(X)的条件下，g(X)的条件期望 通常比g(X)本身更好地估计了θ，而且从来不会更糟。有时，可以非常容易地构造一个非常粗糙的估计量g(X)，然后评估条件期望值，以获得在各种意义上都是最优的估计量。其中，充分统计量的意义是其包含数据样本中所有与待估计参数相关的信息，且不含任何冗余信息。
这个定理是以卡利安普迪·拉达克里希纳·拉奥 和戴维·布莱克韦尔 命名的。使用拉奥-布莱克韦尔定理来转化一个估计量的过程可以被称为拉奥-布莱克韦尔化。转化后的估计量被称为拉奥-布莱克韦尔估计量。 [ 1] [ 2] [ 3]
一个估计量 δ(X)是一个可观测的随机变量（即统计量 ），用于估计某些不可观测的量。例如，我们可能无法观测到X大学所有男学生的平均身高，但我们可以观测40个学生的身高。这40个学生的平均身高——"样本平均数"——可以用作估计不可观测的"总体平均数"的估计量。
一个充分统计量 T(X)是从数据X计算出来的一个统计量，用于估计某个参数θ，而除了这个统计量以外，从数据X中计算出来的其他统计量不会提供关于θ的任何额外信息。它被定义为一个可观测的随机变量 ，使得给定T(X)的条件概率 分布不依赖于未观测到的参数θ，例如整个数据样本的平均值或标准差等。在最常被引用的例子中，“未观测到的”量是指参数，这些参数根据已知的概率分布 族来对数据进行参数化。 换句话说，对于参数θ，一个充分统计量 T(X)是这样一个统计量，使得给定T(X)的条件下，数据X的条件分布 不依赖于参数θ。 一个未观测量θ的拉奥-布莱克韦尔估计量 δ1 (X)是给定充分统计量T(X)的条件下，某个估计量δ(X)的条件期望值 E(δ(X)|T(X))。我们把δ(X)称为"原始估计量 "，把δ1 (X)称为"改进估计量 "。改进估计量的重要性在于它是可观测的，即它不依赖于θ。一般而言，给定这些数据中的一个函数的条件期望值，另一个函数的条件期望值会依赖于θ，但是上述充分统计量的定义说明了这个条件期望值不会依赖于θ。
不可观测量θ的拉奥-布莱克韦尔估计量 δ1 (X) 是给定充分统计量T(X)的某个估计量 δ(X)的条件期望值 E(δ(X)|T(X))。将δ(X) 称为“原始估计量” ，将 δ1 (X)称为“改进后的估计量” 。重要的是改进后的估计器是可观察的 ，即它不依赖于θ。通常，在给定这些数据的另一个函数的情况下，这些数据的一个函数的条件期望值确实 取决于θ，但上面给出的充分性的定义本身就意味着这个不成立。
一个估计量的均方误差
拉奥-布莱克韦尔 定理的一个特例可以表述为：
拉奥-布莱克韦尔估计量的均方误差不超过原始估计量的均方误差。 换句话说，
E
(
(
δ
1
(
X
)
−
θ
)
2
)
≤
E
(
(
δ
(
X
)
−
θ
)
2
)
.
{\displaystyle \operatorname {E} ((\delta _{1}(X)-\theta )^{2})\leq \operatorname {E} ((\delta (X)-\theta )^{2}).}
除了上述定义，证明该定理所需的关键工具包括全期望公式 和以下事实：对于任何随机变量Y，E(Y 2 )不会小于[E(Y )]2 。这个不等式是琴生不等式 的一个特例，尽管它也可以立即从经常提到的事实得出
0
≤
Var
(
Y
)
=
E
(
(
Y
−
E
(
Y
)
)
2
)
=
E
(
Y
2
)
−
(
E
(
Y
)
)
2
.
{\displaystyle 0\leq \operatorname {Var} (Y)=\operatorname {E} ((Y-\operatorname {E} (Y))^{2})=\operatorname {E} (Y^{2})-(\operatorname {E} (Y))^{2}.}
更精确地说，拉奥-布莱克韦尔估计量的均方误差有以下分解形式[ 4]
E
[
(
δ
1
(
X
)
−
θ
)
2
]
=
E
[
(
δ
(
X
)
−
θ
)
2
]
−
E
[
Var
(
δ
(
X
)
∣
T
(
X
)
)
]
{\displaystyle \operatorname {E} [(\delta _{1}(X)-\theta )^{2}]=\operatorname {E} [(\delta (X)-\theta )^{2}]-\operatorname {E} [\operatorname {Var} (\delta (X)\mid T(X))]}
由于
E
[
Var
(
δ
(
X
)
∣
T
(
X
)
)
]
≥
0
{\displaystyle \operatorname {E} [\operatorname {Var} (\delta (X)\mid T(X))]\geq 0}
拉奥-布莱克韦尔定理的更一般版本涉及到“期望损失”或风险函数 ：
E
(
L
(
δ
1
(
X
)
)
)
≤
E
(
L
(
δ
(
X
)
)
)
{\displaystyle \operatorname {E} (L(\delta _{1}(X)))\leq \operatorname {E} (L(\delta (X)))}
其中“损失函数”L可以是任何凸函数 。如果损失函数是二次可微的，例如均方误差的情况，那么我们可以得到更精确的不等式[ 4]
E
(
L
(
δ
(
X
)
)
)
−
E
(
L
(
δ
1
(
X
)
)
)
≥
1
2
E
T
[
inf
x
L
″
(
x
)
Var
(
δ
(
X
)
∣
T
)
]
.
{\displaystyle \operatorname {E} (L(\delta (X)))-\operatorname {E} (L(\delta _{1}(X)))\geq {\frac {1}{2}}\operatorname {E} _{T}\left[\inf _{x}L''(x)\operatorname {Var} (\delta (X)\mid T)\right].}
改进估计量无偏 当且仅当原始估计量无偏，这可以立即通过使用全期望公式 得到。无论使用偏倚还是无偏估计量，该定理都成立。
改进后的估计量是无偏的 当且仅当原始估计量是无偏的，这可以通过使用总期望定律 立即看出。无论使用有偏估计量还是无偏估计量，该定理都成立。
这个定理看起来很弱，它仅仅表明拉奥-布莱克韦尔估计量不会比原始估计量更差。但在实践中，改进通常是巨大的，因为使用充分统计量来改进估计量可以减少估计误差，提高估计的准确性。[ 5]
电话呼叫以平均每分钟λ个的泊松过程 到达交换机板。这个速率是不可观测的，但是我们可以观测到在n个连续的一分钟时间段内到达的电话数量X 1 , ..., Xn 。现在我们希望估计在下一个一分钟时间段内没有电话呼叫的概率e −λ 。
一个极其粗略的估计量可以用来估计所需概率：
δ
0
=
{
1
if
X
1
=
0
,
0
otherwise,
{\displaystyle \delta _{0}=\left\{{\begin{matrix}1&{\text{if}}\ X_{1}=0,\\0&{\text{otherwise,}}\end{matrix}}\right.}
也就是说，如果在第一分钟内没有电话呼叫，则它会将此概率估计为1，否则估计值为0。尽管这个估计量的限制显而易见，但是通过对其进行拉奥-布莱克韦尔化处理得到的结果是一个非常好的估计量。
总和
S
n
=
∑
i
=
1
n
X
i
=
X
1
+
⋯
+
X
n
{\displaystyle S_{n}=\sum _{i=1}^{n}X_{i}=X_{1}+\cdots +X_{n}}
可以很容易地证明，这个求和式是λ的一个充分统计量，即数据X 1 , ..., Xn 的条件分布只通过这个求和式依赖于λ。因此，我们可以得到拉奥-布莱克韦尔估计量：
δ
1
=
E
(
δ
0
∣
S
n
=
s
n
)
.
{\displaystyle \delta _{1}=\operatorname {E} (\delta _{0}\mid S_{n}=s_{n}).}
通过一些计算我们可以得出
δ
1
=
E
(
1
{
X
1
=
0
}
|
∑
i
=
1
n
X
i
=
s
n
)
=
P
(
X
1
=
0
|
∑
i
=
1
n
X
i
=
s
n
)
=
P
(
X
1
=
0
,
∑
i
=
2
n
X
i
=
s
n
)
×
P
(
∑
i
=
1
n
X
i
=
s
n
)
−
1
=
e
−
λ
(
(
n
−
1
)
λ
)
s
n
e
−
(
n
−
1
)
λ
s
n
!
×
(
(
n
λ
)
s
n
e
−
n
λ
s
n
!
)
−
1
=
(
(
n
−
1
)
λ
)
s
n
e
−
n
λ
s
n
!
×
s
n
!
(
n
λ
)
s
n
e
−
n
λ
=
(
1
−
1
n
)
s
n
{\displaystyle {\begin{aligned}\delta _{1}&=\operatorname {E} \left(\mathbf {1} _{\{X_{1}=0\}}{\Bigg |}\sum _{i=1}^{n}X_{i}=s_{n}\right)\\&=P\left(X_{1}=0{\Bigg |}\sum _{i=1}^{n}X_{i}=s_{n}\right)\\&=P\left(X_{1}=0,\sum _{i=2}^{n}X_{i}=s_{n}\right)\times P\left(\sum _{i=1}^{n}X_{i}=s_{n}\right)^{-1}\\&=e^{-\lambda }{\frac {\left((n-1)\lambda \right)^{s_{n}}e^{-(n-1)\lambda }}{s_{n}!}}\times \left({\frac {(n\lambda )^{s_{n}}e^{-n\lambda }}{s_{n}!}}\right)^{-1}\\&={\frac {\left((n-1)\lambda \right)^{s_{n}}e^{-n\lambda }}{s_{n}!}}\times {\frac {s_{n}!}{(n\lambda )^{s_{n}}e^{-n\lambda }}}\\&=\left(1-{\frac {1}{n}}\right)^{s_{n}}\end{aligned}}}
由于在前n分钟内到达电话的平均数量为n λ，因此如果n 很大，这个估计量有相当高的概率接近于
(
1
−
1
n
)
n
λ
≈
e
−
λ
.
{\displaystyle \left(1-{1 \over n}\right)^{n\lambda }\approx e^{-\lambda }.}
因此，δ1 显然是最后一个数量的一个大大改进的估计量。事实上，由于Sn 是完全的 而δ0 是无偏的，根据Lehmann–Scheffé定理 （英语 ） ，δ1 是唯一的最小方差无偏估计量。
拉奥-布莱克韦尔化是一个幂等操作。使用它来改进已经改进的估计器不会获得进一步的改进，而只会返回相同的改进后的估计器作为输出。
如果条件统计量既是完全的 又是充分的 ，并且起始估计量是无偏的，则拉奥-布莱克韦尔估计量是唯一的“最佳无偏估计量 ”：参见Lehmann-Scheffé 定理。
Galili Meilijson 2016年提供了一个可改进的拉奥-布莱克韦尔改进的例子，当使用一个不完全 的最小充分统计量时。假设
X
1
,
…
,
X
n
{\displaystyle X_{1},\ldots ,X_{n}}
X
∼
U
(
(
1
−
k
)
θ
,
(
1
+
k
)
θ
)
{\displaystyle X\sim U\left((1-k)\theta ,(1+k)\theta \right)}
E
[
X
]
=
θ
{\displaystyle E[X]=\theta }
k
∈
(
0
,
1
)
{\displaystyle k\in (0,1)}
θ
{\displaystyle \theta }
X
1
{\displaystyle X_{1}}
X
1
{\displaystyle X_{1}}
T
=
(
X
(
1
)
,
X
(
n
)
)
{\displaystyle T=\left(X_{(1)},X_{(n)}\right)}
θ
{\displaystyle \theta }
X
(
1
)
=
min
(
X
i
)
{\displaystyle X_{(1)}=\min(X_{i})}
X
(
n
)
=
max
(
X
i
)
{\displaystyle X_{(n)}=\max(X_{i})}
θ
^
R
B
=
E
θ
[
X
1
|
X
(
1
)
,
X
(
n
)
]
=
X
(
1
)
+
X
(
n
)
2
.
{\displaystyle {\hat {\theta }}_{RB}=E_{\theta }\left[X_{1}|X_{(1)},X_{(n)}\right]={\frac {X_{(1)}+X_{(n)}}{2}}.}
但是，可以证明以下无偏估计量具有较低的方差：
θ
^
L
V
=
1
2
(
k
2
n
−
1
n
+
1
+
1
)
[
(
1
−
k
)
X
(
1
)
+
(
1
+
k
)
X
(
n
)
]
.
{\displaystyle {\hat {\theta }}_{LV}={\frac {1}{2\left(k^{2}{\frac {n-1}{n+1}}+1\right)}}\left[(1-k){{X}_{(1)}}+(1+k){{X}_{(n)}}\right].}
事实上，当使用以下估算量时，它甚至可以进一步改进：
θ
^
B
A
Y
E
S
=
n
+
1
n
[
1
−
(
X
(
1
)
1
−
k
)
(
X
(
n
)
1
+
k
)
−
1
[
(
X
(
1
)
1
−
k
)
(
X
(
n
)
1
+
k
)
]
n
+
1
−
1
]
X
(
n
)
1
+
k
{\displaystyle {\hat {\theta }}_{BAYES}={\frac {n+1}{n}}\left[1-{\frac {{\frac {\left({\frac {{X}_{(1)}}{1-k}}\right)}{\left({\frac {{X}_{(n)}}{1+k}}\right)}}-1}{{{\left[{\frac {\left({\frac {{X}_{(1)}}{1-k}}\right)}{\left({\frac {{X}_{(n)}}{1+k}}\right)}}\right]}^{n+1}}-1}}\right]{\frac {X_{(n)}}{1+k}}}
该模型是一个比例参数模型 （英语 ） ，可以导出对于不变损失函数 的最优不变估计量。 [ 6]
^ Blackwell, D. Conditional expectation and unbiased sequential estimation . Annals of Mathematical Statistics . 1947, 18 (1): 105–110. MR 0019903 Zbl 0033.07603 doi:10.1214/aoms/1177730497 ^ Kolmogorov, A. N. Unbiased estimates. Izvestiya Akad. Nauk SSSR. Ser. Mat. 1950, 14 : 303–326. MR 0036479 ^ Rao, C. Radhakrishna. Information and accuracy attainable in the estimation of statistical parameters. Bulletin of the Calcutta Mathematical Society. 1945, 37 (3): 81–91. ^ 4.0 4.1 J. G. Liao & A. Berg. Sharpening Jensen's Inequality. The American Statistician. 22 June 2018, 73 (3): 278–281. S2CID 88515366 arXiv:1707.08644 doi:10.1080/00031305.2017.1419145 ^ Carpenter, Bob. Rao-Blackwellization and discrete parameters in Stan . Statistical Modeling, Causal Inference, and Social Science. January 20, 2020 [September 13, 2021] . （原始内容存档 于2023-03-07）. The Rao-Blackwell theorem states that the marginalization approach has variance less than or equal to the direct approach. In practice, this difference can be enormous. ^ Taraldsen, Gunnar. Micha Mandel (2020), "The Scaled Uniform Model Revisited," The American Statistician, 74:1, 98–100: Comment . The American Statistician. 2020, 74 (3): 315. ISSN 0003-1305 S2CID 219493070 doi:10.1080/00031305.2020.1769727
![{\displaystyle \operatorname {E} [(\delta _{1}(X)-\theta )^{2}]=\operatorname {E} [(\delta (X)-\theta )^{2}]-\operatorname {E} [\operatorname {Var} (\delta (X)\mid T(X))]}](https://wikimedia.org/api/rest_v1/media/math/render/svg/090dc6b7f1a4c5c42e7ca602560034bb31606885)
![{\displaystyle \operatorname {E} [\operatorname {Var} (\delta (X)\mid T(X))]\geq 0}](https://wikimedia.org/api/rest_v1/media/math/render/svg/03df8079938acbcfc0e7726ece4235cd376f01cb)
![{\displaystyle \operatorname {E} (L(\delta (X)))-\operatorname {E} (L(\delta _{1}(X)))\geq {\frac {1}{2}}\operatorname {E} _{T}\left[\inf _{x}L''(x)\operatorname {Var} (\delta (X)\mid T)\right].}](https://wikimedia.org/api/rest_v1/media/math/render/svg/8fc8481ac0b7ffea26ccb50e127af99158aacc52)
![{\displaystyle E[X]=\theta }](https://wikimedia.org/api/rest_v1/media/math/render/svg/53da1371ced2c1688c10055dffbba02e18f2aef4)
![{\displaystyle {\hat {\theta }}_{RB}=E_{\theta }\left[X_{1}|X_{(1)},X_{(n)}\right]={\frac {X_{(1)}+X_{(n)}}{2}}.}](https://wikimedia.org/api/rest_v1/media/math/render/svg/f9038d36c8fdb51962c9a194beb30e482b557004)
![{\displaystyle {\hat {\theta }}_{LV}={\frac {1}{2\left(k^{2}{\frac {n-1}{n+1}}+1\right)}}\left[(1-k){{X}_{(1)}}+(1+k){{X}_{(n)}}\right].}](https://wikimedia.org/api/rest_v1/media/math/render/svg/67568142a8b1b19c6f966b9f1c82f5425d24e038)
![{\displaystyle {\hat {\theta }}_{BAYES}={\frac {n+1}{n}}\left[1-{\frac {{\frac {\left({\frac {{X}_{(1)}}{1-k}}\right)}{\left({\frac {{X}_{(n)}}{1+k}}\right)}}-1}{{{\left[{\frac {\left({\frac {{X}_{(1)}}{1-k}}\right)}{\left({\frac {{X}_{(n)}}{1+k}}\right)}}\right]}^{n+1}}-1}}\right]{\frac {X_{(n)}}{1+k}}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/259f785aa683e6f08b7ad791d4660dbc91190087)
.
