集成学习

???通过改变训练样本的权重，学习多个分类器，并将这些分类器线性组合，提高分类性能。

1 Adaboost算法

???输入：训练数据集$T$
???输出：最终分类器$G(x)$
???(1)初始化训练数据的权值分布
$$D_1(w_{11},w_{12},...,w_{1N}),w1i=\frac{1}{N}$$
    (2)对$m=1,2,...,M$
    (a)使用具有权值分布的$D_m$训练数据集学习，得到基本分类器
G m ( x ) : X → { − 1 , + 1 } G_m(x):X \rightarrow\left\{-1,+1\right\} Gm​(x):X→{ −1,+1}
   &ensp(b)计算在$G_m(x)$训练数据集上的分类误差率
$$e_m=\sum _{i=1}^{N}P(G_m(x)\ne y_i)=\sum _{i=1}^N{w}_{mi}I(G_m(x)\ne y_i)$$
    ©计算$G_m(x)$的系数
$${\alpha }_m=\frac{1}{2}log\frac{1-e_m}{e_m}$$
    (d)更新训练数据集的权值分布
$$D_{m+1}=(w_{m+1,1},...,w_{m+1,N})$$
$$w_{m+1,i}=\frac{w_{mi}}{Z_m}exp(-{\alpha }_m{y}_i{G}_m(x)),Z_m为规范因子$$
$$Z_m=\sum _{i=1}^N{w}_{mi}exp(-{\alpha }_m{y}_i{G}_m(x_i))$$
    (3)构建基本分类器的线性组合
$$f(x)=\sum _{m=1}^M{\alpha }_m{G}_m(x)$$
$$G(x)=sign(f(x))=sign(\sum _{i=1}^M{\alpha }_m{G}_m(x))$$

1.2 Adaoost算法的训练误差分析

    Adaboost算法的误差界
$$\frac{1}{N}\sum _{i=1}^{N}I(G_m(x)\ne y_i)\le \frac{1}{N}\sum _{i}exp(-y_{i}f(x_i))=Z_m$$
    二类分类问题Adaboost的训练误差界
$$\begin{gathered} \prod _{m=1}^M{Z}_m=\prod _{m=1}^N[2\sqrt{e_m(1-e_m)}] \\ =\prod _{m=1}^{元器件数据手册} \end{gathered}$$、IC替代型号，打造电子元器件IC百科大全！