一个分类问题,当使用逻辑回归模型与决策树模型时,特征分别要做哪些处理

如题所述

线性回归,是统计学领域的方法,用的时候需要关注假设条件是否满足、模型拟合是否达标,参数是否显著,自变量之间是否存在多重共线性等等问题因为统计学是一个过程导向的,需要每一步都要满足相应的数学逻辑。
下面讲讲我对线性回归的体会(只讲体会,原理的内容就不多说了,因为不难,而且网上相应资料很多!~):

1、linear regression 是最原始的回归,用来做数值类型的回归(有点绕,是为了区别“分类”),比如你可以利用它构建模型,输入你现在的体重、每天卡路里的摄入量、每天运动量等,预测你一个月的体重会是多少,从模型的summary中,查看模型对数据解释了多少,哪些自变量在影响你体重变化中更重要(事先对变量做了standardize),还可以看出在其它自变量不变的适合,其中一个自变量每变化1%,你的体重会变化多少(事先对自变量没做standardize)。 当问题是线性,或者偏向线性,假设条件又都满足(很难),又做好了数据预处理(工作量可能很大)时,线性回归算法的表现是挺不错的,而且在对模型很容易解释!但是,当问题不是线性问题时,普通线性回归算法就表现不太好了。

2、曲线回归,我更喜欢称之为“多项式回归”,是为了让弥补普通线性回归不擅长处理非线性问题而设计的,它给自变量加上一些适合当前问题的非线性特征(比如指数等等),让模型可以更好地拟合当前非线性问题。虽然有一些方法来帮助判断如何选择非线性特征,可以保证模型更优秀。但动手实践过的人,都知道,那有点纸上谈兵了,效果不好,而且有些非线性很难简单地表示出来!!

3、logistic regression,我感觉它应该属于机器学习领域的方法了(当你不去纠结那些繁琐的假设条件时),它主要是用来分析当因变量是分类变量的情况,且由于本身带有一丝的非线性特征,所以在处理非线性问题时,模型表现的也挺好(要用好它,需要做好数据预处理工作,把数据打磨得十分“漂亮”)。十分喜欢用它来做数据挖掘,原因是算法本身表现良好,而且对模型的输出结果容易解释(领导们都听得懂),不像其它高端的机器学习算法,比如Multiboost、SVM等,虽然很善于处理非线性问题,对数据质量的要求也相对较低,但它们总是在黑盒子里工作,外行人根本看不懂它是怎么运行的,它的输出结果应该怎么解释!(好吧,其实内行人也很难看懂!- - )
温馨提示:答案为网友推荐,仅供参考
相似回答