支持向量机信号估计框架解析
1. 引言
支持向量机（SVM）最初是作为高效的模式识别和分类方法被提出的，随后支持向量回归（SVR）被提出用于回归和函数逼近。如今，SVR和其他基于核的回归方法已成为数字信号处理（DSP）领域中成熟且被广泛认可的工具。这并非偶然，因为SVM在准确性、稀疏性和灵活性方面的出色表现，使其被DSP领域的研究人员和从业者广泛采用。
早期使用有监督SVM算法对时间序列进行研究时，主要关注两种DSP信号模型：非线性系统识别和时间序列预测。然而，这些研究中使用的算法是传统的SVR，仅对可用时间序列的时滞样本进行处理。从估计理论的概念角度来看，这种方法存在一些问题：
- 回归问题在最小均方误差（MMSE）意义下的基本假设是独立同分布（i.i.d.）观测，但在时间序列分析中，这一假设并不成立。忽略时间依赖性（如自相关或互相关）的算法可能会错过关键的先验信息。
- 在数据存在高斯噪声的情况下，Vapnik的 ? -不敏感成本函数可能不是最合适的损失函数。
- 用于从成熟的线性技术开发非线性版本的核技巧并不是SVM方法在DSP中唯一理想的优势。
为了解决这些问题，引入了一个框架。SVM本身是一种内在正则化的算法，与MMSE方法不同，它对过拟合具有很强的抵抗力，并且在可用训练样本数量较少和高维数据集的情况下表现出很强的鲁棒性。SVM还能产生由成本函数诱导的稀疏解，这有利于模型的可解释性和计算效率。此外，SVM涉及的模型参数较少，会导致凸优化问题，并且有坚实的数学基础，可以建立性能、唯一性、稳定性、泛化和最优性条件的边界。
近年来，为了克服上述局限性，提出了几种用于DSP应用的SVM算法。例如，Rojo - Álvarez等