PRML-1.2.6 贝叶斯曲线拟合
一些记号和回顾
| 参数 | 含义 |
|---|---|
| \(N\) | 样本量 |
| \(x=(x_1,...,x_N)^T\) | \(样本数据集\) |
| \(t=(t_1,...,t_N)^T\) | \(样本的目标数据集\) |
| \(p(x|\mu,\sigma^2)=\prod\limits_{n=1}^{N} \mathcal{N}(x_n|\mu,\sigma^2)\) | \(数据集x是独立同分布，给定\mu和\sigma^2的情况下的数据集的概率\) |
| \(w\) | \(模型参数\) |
| \(\mu\) | \(似然函数期望\) |
| \(\sigma^2\) | \(似然函数方差\) |
| \(\beta\) | \(似然函数精度,\beta^{-1}=\sigma^2\) |
| \(y(x,w)=w_0+w_1x+w_2x^2+...+w_Mx^M=\sum\limits_{j=0}^{M}w_jx^j\) | \(多项式拟合函数\) |
| \(\alpha\) | \(先验分布的精度\) |
虽然我们已经谈到了先验分布\(p(w | \alpha)\)，但是我们?前仍然在进?\(w\)的点估计(最大似然估计)，这并不是贝叶斯观点,在?个纯粹的贝叶斯?法中，我们应该?始?终地应?概率的加和规则和乘积规则。我们稍后会看到，这需要对所有w值进?积分。对于模式识别来说，这种积分是贝叶斯?法的核?
1.纯贝叶斯派的推导和计算
\(简单地说，贝叶斯?法就是?始?终地使?概率的加和规则和乘积规则。因此预测概率可以
写成下?的形式(假设参数\alpha和\beta是固定的)\)
\(p(t|\mathbb{x},x,t)=\int p(t|x,w)p(w|x,t)dw,-----1.68,\mathbb{x}是新的观测值,要进行预测,x是样本\)
\(p(t|x,w)可以看上一章的1.60公式,p(t|x,w,\beta)=\mathcal{N}(t|y(x,w),\beta^{-1})给出\)
\(p(w|x,t)是参数的后验分布，可以通过公式1.66 \color{red}{p(w|x,t,\alpha,\beta)\propto p(t|x,w,\beta)p(w|\alpha)}归一化得到,\color{red}{后面会学习到这个后验分布是一个高斯分布,可以解系的求出,类似的1.68中积分也可以解系的求解}\)
\(因此，预测分布由?斯的形式给出\)
\(p(t|\mathbb{x},x,t)=\mathcal{N}{t|m(x),s^2(x)}\)
\(其中均值和方差分别为\)
\(m(x)=\beta\phi(x)^TS\sum_{n=1}^{N}\phi(x_n)t_n\)
\(s^2(x)=\beta^{-1}+\phi(x)^TS\phi(x)\)
\(\color{red}{这部分没看懂.......不知道怎么推导}\)