新闻资讯

    原文链接:原文出处:拓端数据部落公众号

    在本教程中,我们将学习覆盖决策树随机森林。这些是可用于分类或回归的监督学习算法。

    视频:从决策树到随机森林:R语言信用卡违约分析信贷数据实例

    从决策树到随机森林:R语言信用卡违约分析信贷数据实例

    ,时长10:11

    下面的代码将加载本教程所需的包和数据集。

    ()

    # 电信客户流失率数据

    churn

    数据

    花点时间探索下面的这个数据集。

    此数据框中的一行代表一家电信公司的客户。每个客户都从该公司购买了电话和互联网服务。

    此数据中的因变量变量指示客户是否终止了他们的服务。

    决策树

    为了演示拟合决策树,我们将使用churn数据集并使用所有可用的预测变量进行预测。

    数据拆分

    我们将数据分成训练集和测试集。训练数据将进一步分为 5 折进行超参数调优。

    # 记住一定要设置你的随机数种子。

    chuit

    % trang()

    % tesg()

    #在训练数据集上创建交叉验证的

    ##这些将被用于调整模型的超参数

    chds

    特征工程

    我们将在我们的训练数据上训练以下转换。

    %

    ((), -()) %>%

    ((), -()) %>%

    r语言自带数据包_r语言怎么查看其自带的数据_r语言自带数据库

    ((), -())

    让我们检查一下特征工程步骤是否正确执行。

    模型规格

    接下来,我们指定具有以下超参数的决策树分类器:

    工作流程

    接下来,我们将我们的模型组合到一个工作流中,以轻松管理模型构建过程。

    treow

    超参数调优

    我们将对决策树超参数进行网格搜索,并在交叉验证期间根据 ROC 曲线下的面积选择性能最佳的模型。

    请参见下面的示例,我们在其中创建对象。

    ## 创建一个超参数值的网格来测试

    (),

    mnn(),

    lvs = 2)

    调整超参数()

    为了从我们的调整网格中找到超参数的最佳组合,我们将使用该()函数。

    在我们的 KNN 示例中,此函数将模型对象或工作流作为第一个参数,将交叉验证折叠作为第二个参数,将调整网格数据框作为第三个参数。

    ## 调整决策树工作流程

    set.seed(314)

    %

    ( = ,

    grid = )

    查看我们的超参数调整的结果。

    从下面的结果中,我们看到对于我们网格中的每个超参数组合。

    下面mean结果中的列表示获得的性能指标的平均值。

    我们可以使用该()模型从我们的调优结果中选择具有最佳整体性能的模型。在下面的代码中,我们指定根据指标选择性能最佳的模型。

    r语言自带数据包_r语言怎么查看其自带的数据_r语言自带数据库

    我们看到成本复杂度为 1-10、树深度为 15、最小 n 为 40 的模型产生了最佳模型。

    ## 根据选择最佳模型

    %

    完成工作流程

    超参数调整的最后一步是将我们的最佳模型添加到我们的工作流对象中。

    可视化结果

    为了可视化我们的决策树模型,我们需要使用该fit()函数手动训练我们的工作流对象。

    此步骤是可选的,因为并非所有应用程序都需要可视化模型。但是,如果目标是了解模型预测某些值的原因r语言怎么查看其自带的数据,那么建议这样做。

    下一节将展示如何拟合模型以自动获得测试集的性能。

    拟合模型

    接下来,我们将工作流程与训练数据相匹配。这是通过将我们的工作流对象传递给fit()函数来完成的。

    fit(data = )

    探索我们的训练模型变量的重要性

    一旦我们在训练数据上训练了我们的模型,我们就可以使用该vip函数研究变量的重要性。

    teeit %

    ()

    变量重要性

    接下来我们传递给vip()函数。

    我们从下面的结果中看到最重要的预测因子。

    vip(teeit)

    决策树图

    我们可以可视化训练好的决策树。

    这种可视化是一种工具,用于传达经过训练的决策树的预测规则。

    很多时候,决策树图会很大并且难以阅读。有专门的软件包R用于放大决策树图的区域。

    训练和评估

    接下来,我们将最终模型工作流程拟合到训练数据并评估测试数据的性能。

    该函数将使我们的工作流程适合训练数据,并根据我们的对象定义的测试数据生成预测。

    r语言怎么查看其自带的数据_r语言自带数据包_r语言自带数据库

    %

    ()

    我们可以在测试数据上查看我们的性能指标

    %>% ()

    ROC曲线

    我们可以绘制 ROC 曲线来可视化我们调整的决策树的测试集性能

    %>% () %>%

    混淆矩阵

    我们看到我们的模型在我们的测试数据集上产生了 80 个假阴性和 57 个假阳性。

    % ()

    随机森林

    在本节中,我们将为chudf数据拟合一个随机森林模型。随机森林采用决策树并在预测准确性方面构建更强大的模型。支持该算法的主要机制是对训练数据进行重复采样(替换)以生成一系列决策树模型。然后对这些模型进行平均以获得预测空间中给定值的单个预测。

    随机森林模型选择预测变量的随机子集,用于在树构建过程中分割预测空间。算法的每次迭代都会这样做,通常是 100 到 2,000 次。

    数据特征工程

    我们已经将我们的数据分成训练、测试和交叉验证集,并训练了我们的特征工程,. 这些可以在我们的随机森林工作流程中重复使用。

    模型

    接下来,我们指定具有以下超参数的随机森林分类器:

    要指定具有 的随机森林模型,我们需要该()函数。

    工作流程

    接下来,我们将我们的模型和配方组合到一个工作流中,以轻松管理模型构建过程。

    %

    超参数调优随机网格搜索

    我们将对随机森林超参数进行网格搜索,并在交叉验证期间根据 ROC 曲线下的面积选择性能最佳的模型。

    在上一节中,我们曾经()创建一个超参数值网格。这创建了推荐默认值的常规网格。

    另一种进行超参数调整的方法是创建一个随机的值网格。许多研究表明,这种方法比常规网格方法做得更好。

    在下面的代码中,我们将范围设置为 4 到 12。

    ## 创建一个超参数值的网格来测试

    r语言自带数据包_r语言怎么查看其自带的数据_r语言自带数据库

    set.sd(314)

    rf_gd %

    调整超参

    为了从我们的调整网格中找到超参数的最佳组合,我们将使用该tugid()函数。

    ## 调整随机森林工作流程

    set.seed(314)

    rftin %

    ( = ,

    grid = r_id)

    查看我们的超参数调整的结果。

    我们可以使用模型从我们的调优结果中选择具有最佳整体性能的模型。在下面的代码中,我们指定根据指标选择性能最佳的模型。

    ## 根据选择最佳模型

    berf %

    完成工作流程

    超参数调整的最后一步是将我们的最佳模型添加到我们的工作流对象中。

    %

    (betrf)

    变量重要性

    为了可视化随机森林模型的可变重要性分数。

    拟合模型

    接下来,我们将工作流程与训练数据相匹配。这是通过将我们的工作流对象传递给fit()函数来完成的。

    rf_it %

    fit(data = )

    一旦我们在训练数据上训练了我们的模型,我们就可以研究变量的重要性。

    第一步是从我们的工作流拟合中提取训练好的模型。

    rf %

    r语言自带数据库_r语言怎么查看其自带的数据_r语言自带数据包

    ()

    变量重要性

    从我们的模型返回一个具有可变重要性分数的对象。重要性分数基于通过超参数随机选择的具有最大预测能力的预测变量。

    训练和评估

    接下来,我们将最终模型工作流程拟合到训练数据并评估测试数据的性能。

    使我们的工作流程拟合训练数据r语言怎么查看其自带的数据,并根据测试数据生成预测。

    我们可以在测试数据上查看我们的性能指标

    %>% ()

    ROC曲线

    我们可以绘制 ROC 曲线来可视化随机森林模型的测试集性能。

    %>% () %>%

    (trth = , = .rd_es) %>%

    ()

    混淆矩阵

    我们看到我们的模型在我们的测试数据集上产生了 61 个假阴性和 48 个假阳性,优于我们的决策树模型。

    (, truth = , = .)

    最受欢迎的见解

    1.用户流失数据挖掘:建立逻辑回归、、随机森林、决策树、支持向量机、朴素贝叶斯模型和聚类用户画像

    2.R语言基于树的方法:决策树,随机森林

    3.中使用-learn和决策树

    4.机器学习:在SAS中运行随机森林数据分析报告

    5.R语言用随机森林和文本挖掘提高航空公司客户满意度

    6.机器学习助推快时尚精准销售时间序列

    7.用机器学习识别不断变化的股市状况——隐马尔可夫模型的应用

    8.机器学习:推荐系统实现(以矩阵分解来协同过滤)

    9.中用机器学习分类预测银行客户流失

网站首页   |    关于我们   |    公司新闻   |    产品方案   |    用户案例   |    售后服务   |    合作伙伴   |    人才招聘   |   

地址:北京市海淀区    电话:010-     邮箱:@126.com

备案号:冀ICP备2024067069号-3 北京科技有限公司版权所有