以下为我的机器学习笔记,参考了黄海广博士的笔记
课程:机器学习 - 斯坦福大学 - 吴恩达 2014 @ Coursera
https://www.coursera.org/course/ml
这一节主要讲述了关于线性代数的基本内容,吴教授讲得很基础,很直观,我这里直接搬运的黄博士的笔记作为参考之用。
我这里还提供一个学习线代的网站,名字叫 immersivemath 不仅内容讲得十分好理解,而且还有可视化的图形,是一个非常 nice 的网站。
# 线性代数
# 矩阵和向量
如图:这个是 4×2 矩阵,即 4 行 2 列,如m 为行,n 为列,那么m×n 即 4×2
矩阵的维数即行数 × 列数
矩阵元素(矩阵项):A=⎣⎢⎢⎢⎡1402137194914719182114371448⎦⎥⎥⎥⎤
Aij 指第i 行,第j 列的元素。
向量是一种特殊的矩阵,讲义中的向量一般都是列向量,如:
y=⎣⎢⎢⎢⎡460232315178⎦⎥⎥⎥⎤
为四维列向量(4×1)。
如下图为 1 索引向量和 0 索引向量,左图为 1 索引向量,右图为 0 索引向量,一般我们用 1 索引向量。
y=⎣⎢⎢⎢⎡y1y2y3y4⎦⎥⎥⎥⎤,y=⎣⎢⎢⎢⎡y0y1y2y3⎦⎥⎥⎥⎤
# 加法和标量乘法
矩阵的加法:行列数相等的可以加。
例:
矩阵的乘法:每个元素都要乘
组合算法也类似。
# 矩阵向量乘法
矩阵和向量的乘法如图:m×n 的矩阵乘以n×1 的向量,得到的是m×1 的向量
算法举例:
# 矩阵乘法
矩阵乘法:
m×n 矩阵乘以n×o 矩阵,变成m×o 矩阵。
如果这样说不好理解的话就举一个例子来说明一下,比如说现在有两个矩阵A 和B,那么它们的乘积就可以表示为图中所示的形式。
# 矩阵乘法的性质
矩阵乘法的性质:
矩阵的乘法不满足交换律:A×B=B×A
矩阵的乘法满足结合律。即:A×(B×C)=(A×B)×C
单位矩阵:在矩阵的乘法中,有一种矩阵起着特殊的作用,如同数的乘法中的 1, 我们称这种矩阵为单位矩阵.它是个方阵,一般用 I 或者 E 表示,本讲义都用 I 代表单位矩阵,从左上角到右下角的对角线(称为主对角线)上的元素均为 1 以外全都为 0。如:
AA−1=A−1A=I
对于单位矩阵,有AI=IA=A
# 逆、转置
矩阵的逆:如矩阵A 是一个m×m 矩阵(方阵),如果有逆矩阵,则:AA−1=A−1A=I
我们一般在 OCTAVE 或者 MATLAB 中进行计算矩阵的逆矩阵。
矩阵的转置:设A 为m×n 阶矩阵(即m 行n 列),第 $i 行 j 列的元素是 a (i,j),即:A=a(i,j)$
定义A 的转置为这样一个n×m 阶矩阵B,满足B=a(j,i),即 b(i,j)=a(j,i)(B 的第i 行第j 列元素是A 的第j 行第i 列元素),记AT=B。(有些书记为 A'=B)
直观来看,将A 的所有元素绕着一条从第 1 行第 1 列元素出发的右下方 45 度的射线作镜面反转,即得到A 的转置。
例:
∣∣∣∣∣∣∣acebdf∣∣∣∣∣∣∣T=∣∣∣∣∣abcdef∣∣∣∣∣
矩阵的转置基本性质:
(A±B)T=AT±BT
(A×B)T=BT×AT
(AT)T=A
(KA)T=KAT
matlab 中矩阵转置:直接打一撇, x=y'
。