非参数回归

非参数回归指的是一类回归分析,其中的预测子不是预先确定的,而根据从数据中获得的信息。也就是说,预测子与因变量之间的关系不会假定为参数形式。非参数回归需要更大的样本量,因为数据必须提供参数模型结构和模型估计值。

定义

非参数回归中,有随机变量  ,并假设其关系如下:

 

其中 是某个确定函数。线性回归也是非参数回归的一种, 假定为仿射。 有些学者使用了稍强的加性噪声假设:

 

其中随机变量 是“噪声项”,均值为0. 若不假设 属于特定的函数参数族,就不可能得到 的无偏估计,但大多数估计量在适当条件下都是一致的。

通用非参数回归算法列表

这是非参数回归模型的非详尽列表。

例子

高斯过程回归/克里金法

高斯过程回归也称克里金法,假设回归曲线的先验为常态分布,并假设误差遵循多元常态分布,回归曲线由后验模式估计。正态先验可能取决于未知的超参数,可用经验贝叶斯方法估计。 超参数通常指定一个先验协方差核。若核也要从数据中进行非参数推断,则可使用临界滤波器

平滑样条法可解释为高斯过程货柜的后验模式。

核回归

 
使用高斯核平滑器对小数据集(黑点)进行非参数回归拟合(红线)。粉色阴影展示了核函数,以获得给定x值的y估计值。核函数定义了在得出目标点估计值时,给每个数据点的权。

核回归用核函数卷积数据点位置,从有限的数据点中估计连续因变量。近似地说,核函数说明了“模糊”数据点影响的方法,以便用它们的值预测附近位置的值。

回归树

决策树学习算法可以从数据中学习,以预测因变量。[2]虽然最初的分类回归树(CART)公式仅适用于预测单变量数据,该框架也可用于预测多变量数据,包括时间序列。[3]

另见

参考文献

  1. ^ Statistical and neural network techniques for nonparametric regression by Vladimir Cherkassky, Filip Mulier https://link.springer.com/chapter/10.1007/978-1-4612-2660-4_39页面存档备份,存于互联网档案馆
  2. ^ Breiman, Leo; Friedman, J. H.; Olshen, R. A.; Stone, C. J. Classification and regression trees. Monterey, CA: Wadsworth & Brooks/Cole Advanced Books & Software. 1984. ISBN 978-0-412-04841-8. 
  3. ^ Segal, M.R. Tree-structured methods for longitudinal data. Journal of the American Statistical Association (American Statistical Association, Taylor & Francis). 1992, 87 (418): 407–418. JSTOR 2290271. doi:10.2307/2290271. 

阅读更多

外部链接