模型的参数化和非参数化是什么？

一、概念

        在机器学习中，参数化模型和非参数化模型是两种不同的模型类型，它们在模型的表达能力、训练方式和应用场景上有所区别。参数化模型，也称为参数模型，是基于一组固定数量的参数来定义的模型，这些参数完全确定了模型的形式，并且可以通过训练数据来估计。

二、区别

1、参数化模型

        参数化模型是指模型的参数（weights和biases）数量是固定的，不随训练样本的数量增加而增加。这些模型通常有一个封闭形式的解，可以通过优化算法在有限步骤内找到最优解。例如，线性回归、逻辑回归、支持向量机（SVM）都是参数化模型。参数化模型的特点主要是：

• 有限参数：模型的参数数量是预先设定的，不随数据量增加。
• 训练效率：通常训练较快，因为参数数量有限，优化问题规模较小。
• 易于解释：由于参数数量较少，模型的解释性较好。
• 欠拟合风险：如果模型过于简单，可能会发生欠拟合。

2、非参数化模型

        非参数化模型是指模型的参数数量随着训练样本数量的增加而增加，理论上参数数量是无限的。这些模型通常没有封闭形式的解，需要通过迭代方法来逼近最优解。k-最近邻（k-NN）、决策树（当树的深度没有限制时）、朴素贝叶斯、高斯过程等都是典型的非参数化模型。深度学习模型通常被也视为是非参数化的，因为它们的层数和每层的神经元数量可以根据具体问题和数据集来确定（包括是否激活当前的参数参与训练）。此外，深度学习中的激活函数选择也是非参数化的，常见的激活函数如ReLU、Sigmoid和Tanh等被广泛使用，但并没有一种理论能够明确地指导选择最优的激活函数。非参数化模型的特点主要有：

• 无限参数：模型的参数数量不固定，可以随着数据量的增加而增加。
• 模型复杂度高：模型可以非常灵活地拟合数据。
• 训练效率：通常训练较非参数模型慢，因为需要处理的参数数量可能非常大。
• 数据驱动：模型的性能很大程度上依赖于数据。
• 抗噪声能力强：由于模型可以非常灵活，通常对噪声和异常值有较好的鲁棒性。
• 过拟合风险：如果模型过于复杂，可能会发生过拟合。

三、应用场景

        在实际应用中，选择参数化模型还是非参数化模型取决于具体问题的性质、数据的规模和质量、以及对模型解释性的需求。参数化模型通常更适合于数据量不大、模型解释性要求高的场景，而非参数化模型则更适合于数据量大、模型需要高度灵活的场景。尤其是随着深度学习的发展，参数化模型变得更加流行和通用，很多场景都不在探讨模型的参数化与非参数化了，因为几乎大家都是用的神经网络。然而，这并不意味着参数化模型就会被时代所淘汰，可以看到的是在许多场景中SVM等模型仍然扮演着重要角色。