线性与非线性总结与思考
机器学习中的线性模型与非线性模型
线性模型
在统计意义上，如果一个回归等式是线性的，那么它的相对于参数就必须也是线性的。如果相对于参数是线性，那么即使性对于样本变量的特征是二次方或者多次方，这个回归模型也是线性的 (例如下面的公式)。
$Y=w_0+w_1x_1+w_2+x_2^2 $
甚至可以使用log或者指数取形式化特征：
$Y=w_0+w_1exp(-x_1)+w_2exp(-x_2^2)$非线性模型
最简单的判断一个模型是不是非线性，就是关注非线性本身，判断它的参数是不是非线性的。非线性有很多种形象，这也是为什么非线性模型能够那么好的拟合那些曲折的函数曲线的原因。比如下面这个：
$ Y = \theta _1 * x ^ { \theta _2 } $与线性模型不一样的是，这些非线性模型的特征因子对应的参数不止一个。
- 总结
- 线性模型可以是用曲线拟合样本，但是分类的决策边界一定是直线的，例如$logistic$模型；
- 区分是否为线性模型，主要是看一个乘法式子中自变量 $x$ 前的系数 $\omega$ ，应该是说$x$只被一个$\omega$影响，那么此模型为线性模型。或者判断决策边界是否是线性的；
- 举例： $y=\frac{1}{1+exp(\omega_0+\omega_1x_1+\omega_2x_2)} $，画出 $y $和 $x$ 是曲线关系，但是它是线性模型，因为$ \omega_1x_1$ 中可以观察到$ x_1$ 只被一个 $\omega _1$ 影响；$y=\frac{1}{1+\omega_5exp(\omega_0+\omega_1x_1+\omega_2x_2)}$此模型是非线性模型，观察到 $x_1$ 不仅仅被参数 $\omega_1$ 影响，还被$ \omega_5 $影响，如果自变量x被两个以上的参数影响，那么此模型是非线性的；
- 其实最简单判别一个模型是否为线性的，只需要判别决策边界是否是直线，也就是是否能用一条直线来划分；
线性代数中的线性变换与非线性变换
- 线性变换
(1) 两个基本性质
可加性：两个向量的和经过变换等于两个向量变换的和；$f(x+y)=f(x)+f(y)$
齐次性：一个向量缩放一个倍数变换等于先变换再缩放一个倍数；$f(ax)=af(x)$ - 非线性变换
不满足线性变换的两个性质