在多元线性回归中，并不是所用特征越多越好；选择少量、合适的特征既可以避免过拟合，也可以增加模型解释度。这里介绍3种方法来选择特征：最优子集选择、向前或向后逐步选择、交叉验证法。
最优子集选择
这种方法的思想很简单，就是把所有的特征组合都尝试建模一遍，然后选择最优的模型。基本如下：
对于p个特征，从k=1到k=p——
从p个特征中任意选择k个，建立C(p,k)个模型，选择最优的一个（RSS最小或R2最大）；
从p个最优模型中选择一个最优模型（交叉验证误差、Cp、BIC、Adjusted R2等指标）。
这种方法优势很明显：所有各种可能的情况都尝遍了，最后选择的一定是最优；劣势一样很明显：当p越大时，计算量也会越发明显地增大（2^p）。因此这种方法只适用于p较小的情况。
以下为R中
延伸阅读
- ssh框架 2016-09-30
- 阿里移动安全 [无线安全]玩转无线电——不安全的蓝牙锁 2017-07-26
- 消息队列NetMQ 原理分析4-Socket、Session、Option和Pipe 2024-03-26
- Selective Search for Object Recognition 论文笔记【图片目标分割】 2017-07-26
- 词向量-LRWE模型-更好地识别反义词同义词 2017-07-26
- 从栈不平衡问题 理解 calling convention 2017-07-26
- php imagemagick 处理 图片剪切、压缩、合并、插入文本、背景色透明 2017-07-26
- Swift实现JSON转Model - HandyJSON使用讲解 2017-07-26
- 阿里移动安全 Android端恶意锁屏勒索应用分析 2017-07-26
- 集合结合数据结构来看看(二) 2017-07-26
学习是年轻人改变自己的最好方式