循例学习

循例学习(英语:instance-based learning),有时也称为记忆式学习(英语:memory-based learning)[1],是一系列学习算法,它不执行明确一般化,而是将新实例与训练过程中已储存在记忆体中的实例进行比较。由于计算被推迟到观察到新实例为止,因此这些算法有时被称为“迟缓”(英语:lazy,或依原文翻为“惰性”)。[2]

它被称为循例,因为它直接从训练实例本身建立假设。[3]这意味着假设复杂度会随着资料的增长而增长:[3] 在最坏的情况下,假设是n 个训练项目的列表,并且对单一新实例进行分类的计算复杂度为O(n)。与其他机器学习方法相比,循例学习的优势之一是能够使其模型适应以前未见过的资料。循例学习可以简单地储存新实例或丢弃旧实例。

基于实例的学习算法的范例有k-近邻算法核方法放射状基底函数网络[2]:ch. 8这些储存其训练集(的子集),当预测新实例的值/类别时,他们会计算该实例与训练实例之间的距离或相似性以做出决定。

实例缩减算法即是被建议用来解决储存所有训练实例的记忆体复杂性以及对训练集的噪声过度拟合的风险。[4]

参阅

参考资料

  1. ^ Walter Daelemans; Antal van den Bosch. Memory-Based Language Processing. Cambridge University Press. 2005. 
  2. ^ 2.0 2.1 Tom Mitchell. Machine Learning. McGraw-Hill. 1997. 
  3. ^ Stuart Russell and Peter Norvig (2003). Artificial Intelligence: A Modern Approach, second edition, p. 733. Prentice Hall. ISBN 0-13-080302-2
  4. ^ D. Randall Wilson; Tony R. Martinez. Reduction techniques for instance-based learning algorithms. Machine Learning. 2000.