決策邊界

決策邊界或決策面（decision surface）是統計分類問題中的一個超曲面，把向量空間（作為特徵空間）劃分為兩個集合，分別對應兩個分類。

如果決策面是超平面，那麼這個分類問題是線性的，分類是線性可分的。

神經網絡與支持向量機

人工神經網絡或感知器的反向傳播算法，網絡可學到的決策邊界的類型由隱含層數決定。

如果沒有隱含層，那麼只能學習線性問題。如有一個隱含層，使用萬能逼近定理可學到Rⁿ的緊子集的任何連續函數，因此可學到任意的分類邊界。

支持向量機 能找到一個超平面，把特徵空間分為具有最大間隔的2個類。如果問題在最初不是線性可分的，通過核方法把它映射到高維空間變為線性可分。

神經網絡通過分類邊界學習來極小化經驗誤差（empirical error）。支持向量機 通過分類邊界學習來極大化經驗間隔（maximizes the empirical margin）。