决策边界

决策边界或决策面（decision surface）是统计分类问题中的一个超曲面，把向量空间（作为特征空间）划分为两个集合，分别对应两个分类。

如果决策面是超平面，那么这个分类问题是线性的，分类是线性可分的。

神经网络与支持向量机

人工神经网络或感知器的反向传播算法，网络可学到的决策边界的类型由隐含层数决定。

如果没有隐含层，那么只能学习线性问题。如有一个隐含层，使用万能逼近定理可学到Rⁿ的紧子集的任何连续函数，因此可学到任意的分类边界。

支持向量机 能找到一个超平面，把特征空间分为具有最大间隔的2个类。如果问题在最初不是线性可分的，通过核方法把它映射到高维空间变为线性可分。

神经网络通过分类边界学习来极小化经验误差（empirical error）。支持向量机 通过分类边界学习来极大化经验间隔（maximizes the empirical margin）。