massquantity - 博客园
摘要: "集成学习之Boosting —— AdaBoost原理" "集成学习之Boosting —— AdaBoost实现" 集成学习之Boosting —— Gradient Boosting原理 "集成学习之Boosting —— Gradient Boosting实现" 上一篇介绍了AdaBoost阅读全文
posted @ 2018-06-13 17:34 massquantity 阅读(117) 评论(1) 编辑
摘要: Gradient Boosting的一般算法流程 1. 初始化: $f_0(x) = \mathop{\arg\min}\limits_\gamma \sum\limits_{i=1}^N L(y_i, \gamma)$ 2. for m=1 to M: (a) 计算负梯度: $\tilde{y}_阅读全文
posted @ 2018-06-11 19:13 massquantity 阅读(16) 评论(0) 编辑
摘要: "官方网站" "官方代码" 第二章 排序 2.1 初级排序算法 排序就是将一组对象按照某种逻辑顺序重新排列的过程。这里我们主要关注重新排列 含有元素的数组 (arrays of items) 的算法,其中每个元素都有一个 主键 (key) 。排序算法的目的是重新排列所有元素,使得元素的主键能以某种方阅读全文
posted @ 2018-06-01 21:19 massquantity 阅读(21) 评论(0) 编辑
摘要: 集成学习之Boosting —— AdaBoost原理 "集成学习之Boosting —— AdaBoost实现" "集成学习之Boosting —— Gradient Boosting原理" "集成学习之Boosting —— Gradient Boosting实现" 集成学习大致可分为两大类:B阅读全文
posted @ 2018-05-20 12:36 massquantity 阅读(70) 评论(0) 编辑
摘要: "集成学习之Boosting —— AdaBoost原理" 集成学习之Boosting —— AdaBoost实现 AdaBoost的一般算法流程 输入: 训练数据集 $T = \left \{(x_1,y_1), (x_2,y_2), \cdots (x_N,y_N)\right \}$,$y\i阅读全文
posted @ 2018-05-19 20:21 massquantity 阅读(26) 评论(0) 编辑
摘要: 在集成学习中,通常认为Bagging的主要作用是降低方差,而Boosting的主要作用是降低偏差。Boosting能降低偏差很好理解,因为其原理就是将多个弱学习器组合成强学习器。但Bagging为什么能降低方差?或者说,为什么将多个强学习器组合起来方差就会降低?这是本篇想要探讨的问题,而在这之前我认阅读全文
posted @ 2018-05-12 19:55 massquantity 阅读(42) 评论(0) 编辑
摘要: "官方网站" "官方代码" 第一章 基础 1.1 基础编程模型 1.1节的内容主要为介绍Java的基本语法以及书中会用到的库。 下图为一个Java程序示例和相应的注解: 本书用到的几种基本语法: 1. 初始数据类型 (primitive data tyoes):整型 (int),浮点型 (doubl阅读全文
posted @ 2018-05-04 18:24 massquantity 阅读(49) 评论(0) 编辑
摘要: "代码" 损失函数的一般表示为$L(y,f(x))$,用以衡量真实值$y$和预测值$f(x)$之间不一致的程度,一般越小越好。为了便于不同损失函数的比较,常将其表示为单变量的函数,在回归问题中这个变量为$y f(x)$,在分类问题中则为$yf(x)$。下面分别进行讨论。 回归问题的损失函数 回归问题阅读全文
posted @ 2018-04-27 19:41 massquantity 阅读(346) 评论(0) 编辑
摘要: "numpy.where ( condition [, x , y ])" numpy.where() 有两种用法: 1. np.where(condition, x, y) 满足条件(condition),输出x,不满足输出y。 如果是一维数组,相当于 上面这个例子的条件为 ,分别对应最后输出结果阅读全文
posted @ 2018-04-22 18:59 massquantity 阅读(260) 评论(0) 编辑
摘要: 完整代码见 "kaggle kernel" 或 "Github" 比赛页面:https://www.kaggle.com/c/house prices advanced regression techniques 这个比赛总的情况就是给你79个特征然后根据这些预测房价 (SalePrice),这其中阅读全文
posted @ 2018-03-31 09:27 massquantity 阅读(709) 评论(0) 编辑