线性可分：使用分离超平面$\omega ?xb$完全分离数据集；

非线性可分:用超曲面分离数据集。

非线性问题往往很难解决，所以我希望通过解决线性分类间题来解决这个问题。

方法是进行非线性转换，将非线性问题转化为线性问题，通过解决转换后的线性问题来解决原来的非线性问题。

也就是说，如何将原始空间上的点映射到新空间上的点！

原始空间：输入空间 min ?? ∑ i = 1 N ∑ j = 1 N α i α j y i y j ( x i ? x j ) ? ∑ i = 1 N α i s . t . ?? ∑ i = 1 N α i y i = 0 ?? , ?? α i ≥ 0 ?? , ?? i = 1 , 2 , ? ? , N \begin{split} &\min\;\sum_{i=1}^{N}\sum_{j=1}^{N}\alpha_i\alpha_jy_iy_j(x_i\cdot x_j)-\sum_{i=1}^{N}\alpha_i\\ &s.t.\;\sum_{i=1}^{N}\alpha_iy_i=0\;,\;\alpha_i\geq0\;,\;i=1,2,\cdots,N \end{split} mini=1∑Nj=1∑N​αi​αj​yi​yj​(xi​⋅xj​)−i=1∑N​αi​s.t.i=1∑N​αi​yi​=0,αi​≥0,i=1,2,⋯,N​

在上式中$x_i\cdot x_j$是内积，新空间中可能变为$z$，对应希尔伯特空间，要能计算$z_i\cdot z_j$。

希望找到一个映射$\varphi (x):\chi \to$ $H$ $$\begin{array}{rl}& z_i=\varphi (x_i),z_j=\varphi (x_j)\\ & z_i\cdot z_j=\varphi (x_i)\cdot \varphi (x_j)=K(x_i,x_j)\end{array}$$

如果可以实现，非线性支持向量机变为:
$$\min \sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_{j}K(x_i,x_j)-\sum _{i=1}^N{\alpha }_i$$

接下来我们看一个例子:

$$K(x,z)=(x\cdot z{)}^2,xz\in R^2$$

请问:$\varphi \to H$?

解: $$x=(x^{(1)},x^{(2)}{)}^T,z=(z^{(1)},z^{(2)}{)}^T$$
$$\begin{array}{rl}K(x,z)& =(x^{(1)}{z}^{(1)}+x^{(2)}{z}^{(2)}{)}^2\\ & =(x^{(1)}{z}^{(1)}{)}^2+2x^{(1)}{x}^{(2)}{z}^{(1)}{z}^{(2)}+(x^{(2)}{z}^{(2)}{)}^2\end{array}$$

我们尝试$H=R^3$
$$\varphi (x)=((x^{(1)}{)}^2,\sqrt{2}{x}^{(1)}{x}^{(2)},(x^{(2)}{)}^2{)}^T$$

1)$\varphi :$