• Machine learning
  • 1 决策树
    • 1.1 决策树 - 把你做选择的过程呈现出来
    • 1.2 训练决策树 - 确定决策树的根节点
      • 1.2.1 Gini Impurity
      • 1.2.2 Gini Impurity计算公式
      • 1.2.3 决策树分类后形成的两个分支的Gini Impurity
    • 1.3 训练决策树 - 确定根节点的分类阈值
      • 1.3.1 定义计算Gini impurity的函数
      • 1.3.2 暴力决策根节点和阈值
      • 1.3.3 再决策第二个节点、第三个节点
    • 1.4 Refercens
  • 2 机器学习基本概念
    • 2.1 分类问题模型评估指标 - ROC曲线和AUC值
      • 2.1.1 准确率 (Accuracy)表示预测正确的结果占总样本的比例
      • 2.1.2 精准率 (Precision)
      • 2.1.3 召回率 (recall)
      • 2.1.4 假阳性率 (false-positive)
      • 2.1.5 F1得分
      • 2.1.6 Kappa系数
      • 2.1.7 ROC曲线 {ROC}
      • 2.1.8 AUC (Area under curve)
      • 2.1.9 PRC曲线和AUPRC
      • 2.1.10 参考
    • 2.2 回归问题模型评估指标
      • 2.2.1 RMSE (Root Mean Square Error) 均方根误差
      • 2.2.2 Reference
    • 2.3 预测模型和分类模型 (Prediction and Classification)
      • 2.3.1 References
    • 2.4 训练集、验证集、测试集
      • 2.4.1 简单交叉验证
      • 2.4.2 K-fold交叉验证
      • 2.4.3 举个例子 - 2折交叉验证
      • 2.4.4 其它类型的交叉验证
      • 2.4.5 可用数据集
      • 2.4.6 Refercence
  • 3 随机森林
    • 3.1 随机森林的算法概述
      • 3.1.1 为什么要这么做呢？
      • 3.1.2 随机森林工作机制
      • 3.1.3 oob (out-of-bag) error rate (聚合错误率)
      • 3.1.4 变量重要性
      • 3.1.5 Gini importance
      • 3.1.6 变量互作 Interactions
      • 3.1.7 相似性 Proximities
      • 3.1.8 降维展示 Scaling
      • 3.1.9 原型 Prototypes
      • 3.1.10 填充训练集中的缺失值
      • 3.1.11 填充测试集中的缺失值
      • 3.1.12 鉴定标签有误的样品
      • 3.1.13 鉴定异常样品
      • 3.1.14 无监督聚类
      • 3.1.15 平衡因类样品数目差别大带来的预测错误
      • 3.1.16 检测新样品
      • 3.1.17 随机森林的短处
    • 3.2 随机森林实操
      • 3.2.1 数据格式和读入数据
      • 3.2.2 样品筛选和排序
      • 3.2.3 判断是分类还是回归
      • 3.2.4 随机森林初步分析
      • 3.2.5 随机森林参数调试 - 决策树的数目
      • 3.2.6 随机森林参数调试 - 用于决策的变量的数目 (m)
      • 3.2.7 RandomFOorest 自带工具的调参
    • 3.3 随机森林的 10 折交叉验证代码
      • 3.3.1 precit函数的应用
      • 3.3.2 基于predict结果绘制ROC曲线
      • 3.3.3 随机森林的 10 折交叉验证代码
    • 3.4 基于Caret进行随机森林调参
      • 3.4.1 基于Caret进行随机森林随机调参
      • 3.4.2 随机森林变量选择
      • 3.4.3 从Bagging到随机森林
      • 3.4.4 Bootstrap小样品
    • 3.5 参考
      • 3.5.1 随机森林平衡样本
      • 3.5.2 填补伪数据
      • 3.5.3 读入数据
      • 3.5.4 直接使用randomForest包进行分析和测试
  • 4 基于RandomForest学习Caret标准化流程
    • 4.1 基于Caret和RandomForest包进行随机森林分析的一般步骤
      • 4.1.1 Caret构建机器学习流程的一般步骤
      • 4.1.2 基于Caret和RandomForest包进行随机森林分析的一般步骤
      • 4.1.3 Caret比较不同算法的性能
      • 4.1.4 Caret训练最终模型
      • 4.1.5 基于模型对测试集进行预测
    • 4.2 Caret模型训练和调参更多参数解读
      • 4.2.1 trainControl函数控制参数
      • 4.2.2 train函数控制参数
    • 4.3 References
  • 5 特征选择
    • 5.1 特征选择概述
      • 5.1.1 特征选择方法比较
    • 5.2 Boruta算法
      • 5.2.1 Boruta算法概述
      • 5.2.2 Boruta算法实战
      • 5.2.3 Boruta 选择的变量拟合模型
      • 5.2.4 Boruta算法的注意事项
    • 5.3 特征递归消除(RFE, recursive feature elimination)
      • 5.3.1 RFE算法理论概述
      • 5.3.2 RFE基本算法
      • 5.3.3 交叉验证RFE算法
      • 5.3.4 RFE算法实战
      • 5.3.5 使用treebagFuncs运行RFE特征选择
    • 5.4 遗传算法 (Genetic algorithms)鉴定特征变量
    • 5.5 RFE 模拟退火算法
      • 5.5.1 References
  • 6 基于随机森林模型实战机器学习
    • 6.1 随机森林实操
      • 6.1.1 数据格式和读入数据
      • 6.1.2 样品筛选和排序
      • 6.1.3 判断是分类还是回归
      • 6.1.4 随机森林初步分析
    • 6.2 随机森林标准操作流程
      • 6.2.1 拆分训练集和测试集
      • 6.2.2 Boruta特征选择鉴定关键分类变量
      • 6.2.3 交叉验证选择参数并拟合模型
  • 7 预测哪个阅读指标对吸引关注影响最大
    • 7.1 数据格式和读入数据
      • 7.1.1 样品筛选和排序
      • 7.1.2 判断是分类还是回归
      • 7.1.3 随机森林初步分析
    • 7.2 随机森林标准操作流程
      • 7.2.1 拆分训练集和测试集
      • 7.2.2 Boruta特征选择鉴定关键分类变量
      • 7.2.3 交叉验证选择参数并拟合模型
    • 7.3 随机森林回归的不足
    • 7.4 References
  • 8 Biological examples
  • 9 数据准备
    • 9.1 安装YSX包 (已改名为ImageGP包)
    • 9.2 DLBCL 数据集
    • 9.3 整理Prostate数据
  • 10 Supplemental information
    • 10.1 RFE SA log
  • chentong_biology@163.com

机器学习

8 Biological examples

PloS文章 机器学习例子 一个 https://journals.plos.org/ploscompbiol/article?id=10.1371/journal.pcbi.0030116#s5

可以作为introduction https://omicstutorials.com/introduction-to-machine-learning-bioinformatics/

随机森林处理碱基字符 https://stackoverflow.com/questions/24715230/can-sklearn-random-forest-directly-handle-categorical-features

categorical变量的 One-hot encoding https://towardsdatascience.com/one-hot-encoding-is-making-your-tree-based-ensembles-worse-heres-why-d64b282b5769

录制一个视频（图解机器学习） http://www.r2d3.us/%E5%9B%BE%E8%A7%A3%E6%9C%BA%E5%99%A8%E5%AD%A6%E4%B9%A0/

Categorical encoding compare https://www.kdnuggets.com/2015/12/beyond-one-hot-exploration-categorical-variables.html

Categorical encoding https://datacadamia.com/data_mining/dummy

生物中机器学习的10条原则：https://biodatamining.biomedcentral.com/articles/10.1186/s13040-017-0155-3

https://mp.weixin.qq.com/s/D6YLMOfwPdU-KC8ExLMngg

泰坦尼克数据：https://www.kaggle.com/c/titanic/data

https://www.biorxiv.org/content/10.1101/507780v1