『壹』 随机森林importance在多少以上证明变量可用
随机森林是一种集成分类器,对影响随机森林性能的参数进行了分析,结果表明随机森林中树的数量对随机森林的性能影响至关重要。对树的数量的确定方法以及随机森林性能指标的评价方法进行了研究与总结。以分类精度为评价方法,利用UCI数据集对随机森林中决策树的数量与数据集的关系进行了实验分析,实验结果表明对于多数数据集,当树的数量为100时,就可以使分类精度达到要求。将随机森林和分类性能优越的支持向量机在精度方面进行了对比,实验结果表明随机森林的分类性能可以与支持向量机相媲美。
R文件内容:
library(randomForest)
## 训练
pos<-read.table("lncrna3k.pwm",header=T);
rownames(pos)<-pos[,1]
pos[,1]<-NULL
neg<-read.table("cds3k.pwm",header=T);
rownames(neg)<-neg[,1]
neg[,1]<-NULL
test<-rbind(pos,neg)
tY<-c(rep(1,dim(pos)[1]),rep(0,dim(neg)[1]))
tY<-as.factor(tY)
rf <- randomForest(test,tY,ntree=5000, keep.forest=TRUE, importance=TRUE);
TP<-rf$confusion[4];
TN<-rf$confusion[1];
FN<-rf$confusion[2];
FP<-rf$confusion[3];
sen<-TP/(TP+FN)
spe<-TN/(TN+FP)
ACC<-(TP+TN)/(TP+FN+TN+FP)
mcc=(TN*TP-FN*FP)/((TP+FN)*(TN+FN)*(TN+FP)*(TP+FP))^(1/2)
c(TP,FN,FP,TN,sen,spe,ACC,mcc)
## 测试
## 补充读数据
rfPred <- predict(rf,test,type="vote",norm.votes=TRUE, predict.all=FALSE, proximity=FALSE, nodes=FALSE);
『贰』 你知道随机森林算法么,求代写,出高价
说价格
『叁』 增加决策树的数据,对于随机森林主要降低预估的哪个方面值
随机森林是一种集成分类器,对影响随机森林性能的参数进行了分析,结果表明随机森林中树的数量对随机森林的性能影响至关重要。对树的数量的确定方法以及随机森林性能指标的评价方法进行了研究与总结。以分类精度为评价方法,利用UCI数据集对随机森林中决策树的数量与数据集的关系进行了实验分析,实验结果表明对于多数数据集,当树的数量为100时,就可以使分类精度达到要求。将随机森林和分类性能优越的支持向量机在精度方面进行了对比,实验结果表明随机森林的分类性能可以与支持向量机相媲美。
『肆』 r使用随机森林实现所属类别的概率吗
用R做随机森林,先用训练集建模,之后用测试集进行预测,为什么总是显示?代码如下sub<-sample(1:nrow(dx),round(nrow(partd)/4))x1.rf<-randomForest(X1T~.,data=dx,importance=T,subset=-sub)pre1<-predict(x1.rf,data=dx,subset=sub)另外,随机森林的结果里给出的confusionmatrix是什么意思?和预测错误
『伍』 随机森林为什么不会过度拟合
来源:知乎
谢宇杰
大型机软件工程师
不是不会过拟合,而是在满足一定的条件下不容易过拟合。特征参数要足够多,特征参数之间相关性尽量低。
知乎用户
Breiman的这句话完全错误,根本没有不过拟合的学习方法!
对于随机森林来说: 在有躁音的情况下(注意,现实世界应用中躁音不能忽略),树太少很容易过拟合,增加树可以减小过拟合,但没有办法完全消除过拟合,无论你怎么增加树都不行。
------------------
随机森林
决策树主要流行的算法有ID3算法,C4.5算法、CART算法,主要花费时间在建决策树和剪枝过程中,但一旦建成决策树,由于他是树形结构能够直观的显示出模型,而且在后期的分类过程中也比较容易分类,但决策树有一些不好的地方,比如容易过拟合。为了减少决策树的不足,近年来又提出了许多模型组和+决策树的算法,这些算法都是生成N棵决策树,虽然这N棵树都很简单,但是它们综合起来就很强大了,有点类似与adaboost算法。
随机森林主要思想是先对原始样本随机选出N 个训练子集用于随机生成N颗决策树,针对每个样本集在构建决策树的选择最优属性进行划分时是随机选择m个属性,而不是像常用的决策树将所有的属性参与选择,再由这些决策树构成一个森林,随机森林的每一棵决策树之间是没有关联的。在得到森林之后,当有一个新的输入样本进入的时候,就让森林中的每一棵决策树分别进行一下判断,看看这个样本应该属于哪一类,然后看看哪一类被选择最多,就预测这个样本为那一类。
随机森林算法三个步骤:
(1)为每棵决策树抽样产生训练集
随机森林算法采用Bagging抽样技术从原始训练集中产生N 个训练子集(假设要随机生成N颗决策树),每个训练子集的大小约为原始训练集的三分之二,每次抽样均为随机且放回抽样,这样使得训练子集中的样本存在一定的重复,这样做的目的是为了在训练的时候,每一棵树的输入样本都不是全部的样本,使森林中的决策树不至于产生局部最优解。
(2)构建决策树
为每一个训练子集分别建立一棵决策树,生成N棵决策树从而形成森林,每棵决策树不需要剪枝处理。
由于随机森林在进行节点分裂时,随机地选择某m个属性(一般是随机抽取指定logM +1个随机特征变量,m<<M)参与比较,而不是像决策树将所有的属性都参与属性指标的计算。为了使每棵决策树之间的相关性减少,同时提升每棵决策树的分类精度,从而达到节点分裂的随机性。
(3)森林的形成
随机森林算法最终的输出结果根据随机构建的N棵决策子树将对某测试样本进行分类,将每棵子树的结果汇总,在所得到的结果中哪个类别较多就认为该样本是那个类别。
由于上面两个随机采样(从原始训练集中随机产生N个训练子集用于随机生成N颗决策树和在针对每个样本集构建决策树过程中随机地选择m个属性)的过程保证了随机性,所以不会出现过拟合over-fitting。随机森林中的每一棵数分类的能力都很弱,但是多棵树组合起来就变的NB,因为每棵树都精通某一方面的分类,多棵树组成一个精通不同领域的决策专家。
随机森林优缺点
优点:
1、随机森林可以处理高维数据,并确定变量的重要性,是一个不错的降维方法;
2、对数据缺失,随机森林也能较好地保持精确性;
3、当存在分类不平衡的情况时,随机森林能够提供平衡数据集误差的有效方法;
缺点:
1、随机森林算法可以解决回归问题,但是由于不能输出一个连续型值和作出超越训练集数据范围的预测,导致在对某些噪声的数据进行建模时出现过度拟合;
2、随机森林算法类似于黑盒子,由于几乎无法控制模型内部的运行,只能在不同的参数和随机种子之间进行尝试。
『陆』 我用Python进行随机森林回归,训练好模型后用来预测,预测值却为一个定值,请问这是什么原因导致的
随机森林是以决策树为基础的一种更高级的算法。随机森林可用于回归也可以用于分类。它的工作原理是生成多个分类器/模型,各自独立地学习和作出预测。最后对这些预测进行集成,因此优于任何一个单分类的做出预测,是一种优秀的机器学习模型。
之所以你没能学习到有效的模型,可能是你的数据中的因子与预测指标的关联强度不够,因此学习到的是常数模型,也有可能是数据的处理流程或者模型的使用方法不对。网页链接这个网址上的课程完整讲解了随机森林算法的使用,希望对你有帮助
『柒』 随机森林 特征重要性多大是好
这个没有标准。
比如,在回归分析中,可决系数R方多大为好?没有标准,只能说越大越好。
我想题主是应用RF来筛选特征。这个时侯需从预留多少个特征思考。若需预留10个特征,那么把重要性绝对值最大的10个特征保留下来即可,其他特征也就被剔除了。
『捌』 随机森林中的预测变量重要性大于1为什么
你好:
因为随机森林里
有树木,花草
鸟类,昆虫
等等,就像一个小生态圈
所以预测变量重要性大于1