【算法工程师的数学基础】系列将会从线性代数、微积分、数值优化、概率论、信息论五个方面进行介绍,感兴趣的欢迎关注【搜索与推荐Wiki】公众号,获得最新文章。

《算法工程师的数学基础》已更新:


线性代数主要包含向量、向量空间(或称线性空间)以及向量的线性变换和有限维的线性方程组。本篇文章主要介绍线性代数部分中的向量和向量空间。

本篇内容主要是对线性代数中向量点积和外积补充,同时说明一下向量的四则运算,如果对向量和向量空间相关含义有所遗忘的话可以回顾:1、算法工程师的数学基础|线性代数中的向量和向量空间

数学中的运算包括:加减乘除,同样向量的运算也包括这几项,需要注意的是,保证向量的维度相同。

向量加减法

加法和减法是可逆的运算,比如加一个数$m$可以转变为减去这个数$m$的负数$-m$。

假设:向量$a = [1,2,3,4]$, 向量$b = [5,6,7,8]$

则:向量$a + b = [1+5, 2+6, 3+7, 4+8]=[6,8,10,12]$

则:向量$a - b = [1+(-5), 2+(-6), 3+(-7), 4+(-8)]=[-4,-4,-4,-4]$

这里需要注意的是,向量不能和常数进行加减运算,但是可以进行乘除运算。

向量乘法

乘法和除法是可逆的运算,比如乘一个数$m$可以转变为乘这个数$m$的倒数$\frac{1}{m}(m \neq 0)$。所以这里只介绍乘法,除法可以进行等价变换。

向量的乘法分为:

  • 向量$a$ 乘以常数$m$
  • 向量$a$ 乘以向量$b$

向量之间的乘法还分为:

  • 内积
  • 外积

    向量乘以常数

向量与常数的乘法结果依旧是向量,只不过是在原先的基础上延长或者缩短了向量,比如向量$a=[2,4,6,8]$与常数$m=0.5$的积为:

向量$a=[2,4,6,8]$与常数$m=2$的积为

当$m=0.5$时表示将向量缩短在原先的一半,当$m=2$表示将向量延长在原先的2倍。

内积

向量的内积又称为点乘或者数量乘

定义:

对两个向量执行点乘运算,就是对这两个向量对应位一一相乘之后求和的操作,假设向量$a=[a_1, a_2, a_3, a_4]$,向量$b=[b_1, b_2, b_3, b_4]$,则向量$a * b$的结果为:

这里要求一维向量a和向量b的行列数相同。注意:点乘的结果是一个标量(数量而不是向量)

性质

  • $a^2 ≥ 0$;当$a^2 = 0$时,必有$a = 0$ (正定性)
  • $a \odot b = b \odot a$ (对称性)
  • $(λa + μb)·c = λa·c + μb·c$,对任意实数$λ,μ$成立(线性)
  • $cos(a,b) =\frac{a \odot b}{(|a||b|)}$
  • $|a \odot b| ≤ |a||b|$,等号只在$a$与$b$共线时成立

几何意义

内积(点乘)的几何意义包括:

  • 表征或计算两个向量之间的夹角
  • $b$向量在$a$向量方向上的投影

外积

两个向量的外积又叫叉乘或者叉乘向量积,其运算结果是一个向量,并且两个向量的外积与这两个向量组成的平面垂直。

定义

向量$a$与$b$的外积是一个向量,其长度等于$|a \otimes b| = |a||b|sin(a,b)$,其方向正交于$a$与$b$。
特别地,$0 \otimes a = a \otimes 0 = 0$.此外,对任意向量$a$,$a \otimes a=0$。

假设向量$a = [x_1, y_1, z_1]$,$b = [x_2, y_2, z_2]$,则向量$a \otimes b$为:

其中$i = [1,0,0], j=[0,1,0],k=[0,0,1]$,根据$i,j,k$之间的关系有:

性质

  • $a \otimes b = -b \otimes a$(反称性)
  • $(λa + μb) \otimes c = λ(a \otimes c) + μ(b \otimes c)$ (线性)

几何意义

  • 在二维空间中,外积还有另外一个几何意义就是:$|a \otimes b|$在数值上等于由向量$a$和向量$b$构成的平行四边形的面积。
  • 在三维几何中,向量$a$和向量$b$的外积结果是一个向量,有个更通俗易懂的叫法是法向量,该向量垂直于$a$和$b$向量构成的平面。
  • 在3D图像学中,外积的概念非常有用,可以通过两个向量的外积,生成第三个垂直于$a,b$的法向量,从而构建$X、Y、Z$坐标系。

【技术服务】,详情点击查看: https://mp.weixin.qq.com/s/PtX9ukKRBmazAWARprGIAg


扫一扫 关注微信公众号!号主 专注于搜索和推荐系统,尝试使用算法去更好的服务于用户,包括但不局限于机器学习,深度学习,强化学习,自然语言理解,知识图谱,还不定时分享技术,资料,思考等文章!