归一化常数

归一化常数（英语：Normalizing constant）的概念主要来自于数学上的机率论及其他分支。

定义

根据机率论中的描述及定义，一个归一化常数是对于任何非负函数的任意区间所含有之常数使得该函数对于一特定区间之积分恰好等于1。通常加入该常数之目的为将该函数转变为一机率密度函数或机率质量函数。^[1]^[2]

举个例子，如果假定

p(x)=e^{-x^{2}/2},x\in (-\infty ,\infty )

可以推得

\int _{-\infty }^{\infty }p(x)\,dx=\int _{-\infty }^{\infty }e^{-x^{2}/2}\,dx={\sqrt {2\pi \,}},

如果我们假定函数 $\varphi (x)$ 作为

\varphi (x)={\frac {1}{\sqrt {2\pi \,}}}p(x)={\frac {1}{\sqrt {2\pi \,}}}e^{-x^{2}/2}

使得

\int _{-\infty }^{\infty }\varphi (x)\,dx=\int _{-\infty }^{\infty }{\frac {1}{\sqrt {2\pi \,}}}e^{-x^{2}/2}\,dx=1

函数 $\varphi (x)$ 即是一机率密度函数，^[3] 也是一个标准的常态分布^{[注 1]}

而常数 ${\frac {1}{\sqrt {2\pi \,}}}$ 就是前面函数 $p(x)$ 中所谓的归一化常数。

第二个例子，对于已知

\sum _{n=0}^{\infty }{\frac {\lambda ^{n}}{n!}}=e^{\lambda },

而相对的

f(n)={\frac {\lambda ^{n}e^{-\lambda }}{n!}}

则是一个对于所有非负整数之集合的机率质量函数。^[4]这就是假定期望值为 λ的泊松分布之机率质量函数。^{[注 2]}

贝氏定理说明一个随机事件的后验机率正比于先验机率与相似度的乘积。前言所述之“正比于”表示该定理或方程式亦须一归一化常数以便进行机率运算。以另一简单离散的事件为范例：

P(H_{0}|D)={\frac {P(D|H_{0})P(H_{0})}{P(D)}}

其中 P(H₀) 即是假设 H₀ 为真之机率；(D|H₀)则是在数据样本下假设为真时的条件机率，然而该数据样本已知为原假设的似然函数。P(H₀|D)是假设为真下的后验机率。P(D)应是产生数据样本的机率，但是其本身有计算上的困难，故我们常用另外一种描述来取代原本的方程式：

P(H_{0}|D)\propto P(D|H_{0})P(H_{0}).

因为P(H|D)是一个机率，它的所有假设为真机率总和应为1。此可推导出一个结论：

P(H_{0}|D)={\frac {P(D|H_{0})P(H_{0})}{\displaystyle \sum _{i}P(D|H_{i})P(H_{i})}}.

因此，

P(D)=\sum _{i}P(D|H_{i})P(H_{i})\;

即是归一化常数^[5]。这可以被推导至非常多的假设领域并将原本不可计算之机率成另一种以 &Sigma表现之形式。

^ 期望值等于0，变异数等于1
^ 如果一些机率密度函数拥有多个参数，它的归一化常数求法也是相同的。其中非常著名的波兹曼分布函数中的参数化归一化常数在统计力学中有非常重要的地位。在统计力学中，这个常数被称为配分函数