![机器学习互联网业务安全实践](https://wfqqreader-1252317822.image.myqcloud.com/cover/915/47378915/b_47378915.jpg)
2.2.2 线性算子
前面提到,线性算子是用来研究线性空间之间的关系的。为了了解抽象的线性算子如何在具体的线性空间上发挥作用,本节在线性算子概念的基础上,重点介绍它的特殊情况——线性变换。
2.2.2.1 线性空间上的线性算子
算子是连接矩阵与线性空间的桥梁,是研究线性空间关系的主要工具。
1.算子 算子是高数中函数映射概念的推广。
定义 设与
为两个集合,对于每个
,若根据某种法则
,在
中有确定的
与之对应,则称
为
到
的一个映射,或称算子,记为
:
。
2.线性算子
定义 设与
为数域P上的两个线性空间,
是
到
的一个算子,且
,
有
![img](https://epubservercos.yuewen.com/D1CCB4/26764031409573006/epubprivate/OEBPS/Images/txt002_187.jpg?sign=1738777863-aGTy7wyDieHH6IbtmbuBAspfZzRGd2CC-0-c5f4ffac7e3131eb4f4a26c8e5030cad)
![img](https://epubservercos.yuewen.com/D1CCB4/26764031409573006/epubprivate/OEBPS/Images/txt002_188.jpg?sign=1738777863-r0x097G8uIRG1vk29DEVeEnS1hpxV3ZP-0-bb6ed7c587b7415d54d258331ab70e50)
则称是由
到
的线性算子(或线性映射)。这也是我们通常所说的线性的含义。
以下是一些常见的算子。
1.
其中,是
矩阵。显然,此处
是一个线性算子。
2.零算子
它将线性空间中的每一个向量映射成线性空间
中的零向量,该算子记作:
。容易验证,它是一个线性算子。
3.数乘算子
任意数域
上的线性空间
到自身(
)的一个算子:
叫作V上的由数k决定的数乘算子。容易验证,
也是一个线性算子。
4.线性空间中,微分算子是一个线性算子
。
5.,
是由
到实数集
的一个算子,但不是线性算子。
2.2.2.2 同构
设是
到
的线性算子,而且是“一对一”的,即每个原像映射为唯一像,则称
为
与
间的一个同构算子。
定义 若与
之间存在同构算子,则称
与
是同构的线性空间,简称
与
同构。
同构有如下一些性质:
● 同构的线性空间中,线性相关向量对应于线性相关向量,线性无关向量映射为线性无关向量。
● 数域P上两个有限维线性空间同构的充要条件是两个空间的维数相等。
● 数域P上的任何n维线性空间都与特殊的线性空间
同构。
因此,引入同构的概念给研究抽象的线性空间带来了极大的便利,即使
代表不同的线性空间,其元素可能完全不同,但利用同构的关系,都可以将
中的问题通过基转换到线性空间
中进行研究。
2.2.2.3 线性算子的表示
前面讲过,线性空间上的向量可以用坐标来表示,那么抽象的线性算子是否也能同具体的数发生联系呢?答案是肯定的。
1.基像
定义 设是n维线性空间
的一组基,
是由
到m维线性空间
的线性算子,则
在算子
下的基像。
● 设是由
到
的两个线性算子,如果
,则称线性算子
与
相等。
● 由到
的线性算子,由基像
唯一确定。也就是说,确定一个线性算子,并不需要把线性空间中的所有向量在线性算子下的像都找出来,而只需要确定其基像,就可以完全确定线性算子。
2.矩阵表示
定义 设是
到
的一个线性算子,
为
的一组基,
作为
的一组基(称它们为基偶)。由于线性算子
由基像
唯一地确定,且它们属于
,故可令
![img](https://epubservercos.yuewen.com/D1CCB4/26764031409573006/epubprivate/OEBPS/Images/txt002_255.jpg?sign=1738777863-0wNSQCgtolnwI2rFiOegCfZlqZuUwNpF-0-f7e2ac31db4e377b1e3a19b19af6da6e)
矩阵称为线性算子
在基偶{
}与{
}下的矩阵表示。
若是n维线性空间
的一组基,
是m维线性空间
中的任意n个向量,则存在唯一一个线性算子
,把
映射为
。
2.2.2.4 线性算子的运算
线性算子运算中的一些基本概念如下:
1.表示同一数域P下从一个线性空间到另一个线性空间的所有线性算子组成的集合。
2.线性算子的和 设,若有
,则称
为
和
的和。若
,则
。
3.线性算子的乘积 设,若有
,则称
为
与
的乘积,显然它是
到
的算子。
4.线性算子的和与乘积仍然为线性算子。
在线性代数中,矩阵是表示线性方程组的一种简便形式,其中
。从线性算子的角度来理解,它的解(集)可以看成是在
到
的线性算子
下,向量
的原像。特别地,齐次线性方程组
的解(集)恰好是线性算子
为“零点”的原像。
2.2.2.5 线性变换与方阵
当与
相等的情况下,有一种特殊的变形算子的变换,这时候有一系列特殊的命名,如下所述。
1.线性变换 由到
的线性算子
上的线性变换。
2.恒等变换 如果,
,则称
为恒等变换或单位变换,记为
。与之对应的矩阵为单位矩阵
或
。
3.线性变换的和 线性空间中的两个线性变换
,
它们的和
,则
![img](https://epubservercos.yuewen.com/D1CCB4/26764031409573006/epubprivate/OEBPS/Images/txt002_306.jpg?sign=1738777863-QfBRZQby9PaY7fzKRaKFsHCG49zRU4zr-0-034de96f598016a47d21af1243ab1392)
(1)线性变换的加法满足交换律和结合律。
(2)线性变换的乘法满足结合律。
(3)线性变换的乘法对加法有左、右分配律。
4.逆变换 若,则称
为
的逆变换,记作
。
5.如果一个线性变换可逆,则其逆变换也是线性变换。
例 在维线性空间
中,求导运算
是一个线性变换,在
中分别取两组不同的基(此处是多项式):
(1)
(2)
在两种不同基下的矩阵如下:
![img](https://epubservercos.yuewen.com/D1CCB4/26764031409573006/epubprivate/OEBPS/Images/txt002_318.jpg?sign=1738777863-jaGg8XN0dk69I2qtCQlDLY705ndE4rBl-0-e00cb4177c01d37d0a9558b5761ea62f)
![img](https://epubservercos.yuewen.com/D1CCB4/26764031409573006/epubprivate/OEBPS/Images/txt002_319.jpg?sign=1738777863-ZnRMAZauDNYgWOYKP2Xcr8qUojYHYfPW-0-f2aaa5496d62e5340963620817325d34)
2.2.2.6 相似矩阵的几何解释
我们知道,同一向量在不同基下的坐标往往不同,而同一线性变换在不同基下的矩阵也不同。那么,同一线性变换在不同基下的矩阵之间有什么关系呢?下面我们从几何上解释矩阵相似的问题。
定理 设线性空间上的线性变换
对于基
下的矩阵为
,在另一组基
下的矩阵为
,而且从基
到基
的过渡矩阵为
,则有B = C-1AC。
下面列出一些相关的定义、定理以及性质。
1.相似 如果与
是数域
上的两个
阶矩阵,且可以找到
上的
阶非奇异矩阵
,使得B = C-1AC,则称
与
相似,记为
。
因此,我们可以说,线性变换在不同基下的矩阵是相似的;反之,如果两个矩阵相似,那么它们可以称为同一个线性变换在两组不同基下的矩阵。
当已知线性变换在某一组基下的矩阵,要写出其在另一组基下的矩阵时,就可以通过相似原理,先求出基变换的过渡矩阵,然后就很容易计算了。
2.相抵 设与
都是
阶矩阵,如果存在非奇异的
阶方阵
和
阶方阵
,使得
,则称矩阵
与
是相抵的,记为
。
相抵在几何上可以解释为:在两个不同维的线性空间和
中,同一个线性算子
在不同的基偶下所对应的矩阵
与
之间的关系。
也就是说,在线性代数中,对矩阵进行初等行(列)变换,就相当于在
的左(右)两边分别乘上一个非奇异的初等运算矩阵,变换后的矩阵和原矩阵是相抵的。
3.相合 设与
是两个
阶方阵,如果存在非奇异的
阶方阵
,使得
,则称矩阵
与
是相合(或合同)的。
在线性代数中用非退化的坐标做线性变换化简一个二次型时,它们所对应的矩阵就是合同关系。
相抵、相似、相合反映了两个矩阵之间的三种内在联系。相似与相合是相抵的特殊情况,当(即
为正交阵)时,相似与相合一致。
4.定理 设是数域
上
维线性空间
的一组基,在这组基下,每个线性变换对应一个
阶矩阵。
(1)线性变换的和对应于矩阵的和。
(2)线性变换的乘积对应于矩阵的乘积。
(3)线性变换与数的积对应于矩阵与数的积。
(4)可逆的线性变换与可逆矩阵对应,且其逆变换对应于逆矩阵。
2.2.2.7 矩阵的逆方阵和秩
对于n阶方阵,有如下的一些概念需要掌握。
1.非奇异 如果(即
),则称
阶方阵
为非奇异的或非退化的,否则称其为奇异的或退化的。
2.可逆 如果存在n阶方阵,使得
,则称
阶方阵
为可逆的,
为其逆矩阵。
逆矩阵是唯一的。
3.秩 数域P上非零矩阵
的所有子式中必有一个阶数最大的非零子式,其阶数称为矩阵
的秩,记作秩
或
。零矩阵的秩定义为零。
4.满秩 如果矩阵
为满秩矩阵。
(1)对于数域上的
阶方阵
,当且仅当
可逆时
为非奇异的。
(2)当且仅当n阶方阵满秩时,对于A而言,非奇异、可逆、满秩三个概念等价。
(3)n阶方阵的秩小于
的充要条件为
。
秩的其他性质跟线性代数中的相同,在此不再一一列举。
2.2.2.8 线性变换的特征值问题
线性变换的特征值和特征向量不仅在线性变换和机器学习的研究中具有重要意义,而且在物理、力学和工程技术的研究中也具有实际的意义。
特征值 设是数域
上线性空间
的一个线性变换,如果存在
以及非零向量
,使得
,则称
为
的特征值,并称
为
的数域(或对应于)特征值
的特征向量。
● 求特征值和特征向量,统称为特征值问题。
● 的特征值和特征向量的求解,可以转化成线性代数中关于矩阵的特征值问题。
● 相似矩阵具有相同的特征多项式。
● 相似矩阵具有相同的特征值。
定理 设,则
![img](https://epubservercos.yuewen.com/D1CCB4/26764031409573006/epubprivate/OEBPS/Images/txt002_411.jpg?sign=1738777863-dBea0f88xbhxcuuW4P6URoFzaca0Sc6T-0-cbf21b3aaf1a3ff845231b0aa0609c09)
其中,是
的所有k阶主子式之和。特别地,有
![img](https://epubservercos.yuewen.com/D1CCB4/26764031409573006/epubprivate/OEBPS/Images/txt002_414.jpg?sign=1738777863-oDQ3TM2gfrCfU9KPmncV5yBL7ch7IGsK-0-2ceb41a4aef386380676035a4683c557)
特征值满足以下两个条件:
(1) =
式中的主对角线上的元素(即
)之和叫作方阵
的迹,记为
。
● =
=
● n个特征值之和等于的迹。
(2) =
= |A|
n个特征值的积等于的行列式。
设,则
。若
为同阶方阵(即
),则
与
具有相同的特征值。
下面进一步讨论线性变换(即矩阵
)的特征值及特征向量之间的关系。
1.设是线性变换
的r个互异特征值,
是数域特征值
的
个线性无关特征向量
,则
线性无关。
2.可对角化的 设是数域
上
维线性空间
的一个线性变换,如果
中存在一组基,使得
在这一组基下的矩阵为对角阵,则称
是可对角化的。
(1)可对角化的充要条件是有n个线性无关的特征向量。
(2)如果n阶方阵与对角矩阵相似,则称矩阵
是可对角化的。
![img](https://epubservercos.yuewen.com/D1CCB4/26764031409573006/epubprivate/OEBPS/Images/txt002_454.jpg?sign=1738777863-5BxLZalhevbD4wLdJuMXq9w3gHETjcOT-0-3112c74b587b603979c240f23c8e5e88)
(3)n阶方阵可对角化的充要条件是
有n个线性无关的特征向量。
(4)若,则
是
的n个特征值,
的第i个列向量是
的属于特征值
的特征向量。
(5)可对角化矩阵不是唯一的,跟
的排列顺序有关。
3.完备的特征向量系 当n阶矩阵有n个线性无关的特征向量时,则称矩阵
有完备的特征向量系;否则,称
为亏损矩阵。
显然,根据前面可对角化的充要条件和特征值与特征向量的对应关系,若数域上
维线性空间
上的线性变换
(或矩阵
)有n个不同的特征值,则线性变换
(或矩阵
)是可对角化的。
2.2.2.9 线性空间的不变子空间
定义 设是数域
上的
维线性空间,
是
上的线性变换,
是
的子空间。如果
,有
(或
),则称
是关于
的不变子空间。
例如,导数运算是线性空间
的一个线性变换,
为一切次数不超过
的多项式的集合形成的线性空间,则
是
的不变子空间。
不变子空间还有如下两个重要的概念。
1.值域 设是线性空间
上的一个线性变换,
中所有向量的像构成的集合称为线性变换
的值域,记为
即
![img](https://epubservercos.yuewen.com/D1CCB4/26764031409573006/epubprivate/OEBPS/Images/txt002_498.jpg?sign=1738777863-qUHMsTB0U8CvtlDPu4TzRNZdfR0jqtZO-0-f2cff458329bf63877d7eb9fb0c96959)
2.核 所有被变成零向量的原像构成的集合称为
的核,记为
即
![img](https://epubservercos.yuewen.com/D1CCB4/26764031409573006/epubprivate/OEBPS/Images/txt002_502.jpg?sign=1738777863-wBaChZpbU57WVkU82HrXLxGAdBmDA4TK-0-3c56dc7b0ad529d9d20f98dc7d24bcbe)
的值域和核都是
的不变子空间。
一般称的维数是线性变换
的秩,称
的维数是
的零度,记作
。因此,有时又称
为
的秩空间,
为
的核空间。