Linear Algebra

线性代数笔记

Sep 14, 202640 minutes read

On this page

1 Linear Systems

1.1 Solving Linear Systems

线性代数最先处理的问题是线性方程组. 例如

\[\left\{ \begin{array}{l} a_{11}x_1+a_{12}x_2+a_{13}x_3=b_1,\\ a_{21}x_1+a_{22}x_2+a_{23}x_3=b_2,\\ a_{31}x_1+a_{32}x_2+a_{33}x_3=b_3. \end{array} \right.\]

若 \((x_1,x_2,x_3)=(c_1,c_2,c_3)\) 代入后使每个方程都成立, 则称它是该线性方程组的一个解. 基本问题是:

方程组是否有解?
若有解, 如何求出全部解?
不同解之间有什么结构关系?

Definition 一个 \(s \times m\) 矩阵是由 \(s\) 行, \(m\) 列元素组成的表, 记作 \(A=(a_{ij})_{s\times m}\), 其中 \(a_{ij}\) 表示第 \(i\) 行第 \(j\) 列的元素. 若 \(s=m\), 则称 \(A\) 为方阵或 \(m\) 阶矩阵.

Definition 对线性方程组 \(A x=b\):

\(A\) 称为系数矩阵.
\((A\mid b)\) 称为增广矩阵.
方程组的解集就是所有满足 \(A x=b\) 的向量 \(x\).

Remark 求解线性方程组的核心思想是通过不改变解集的变形减少未知量之间的耦合, 最终读出每个未知量的值或自由变量.

Definition 初等行变换包括三类:

交换两行.
用非零常数乘一行.
把一行的倍数加到另一行.

Proposition 对增广矩阵做初等行变换不改变原线性方程组的解集.

Definition 若矩阵满足以下条件, 称其为行阶梯形矩阵:

所有零行在底部.
每个非零行的第一个非零元(主元)在上一行主元的右侧.
每个主元下方元素都为 \(0\).

若进一步要求每个主元为 \(1\), 且主元所在列其余元素都为 \(0\), 则称为简化行阶梯形矩阵.

Gaussian 消元的步骤如下:

逐列寻找主元.
用初等行变换把主元下方消成 \(0\).
必要时从下向上消去主元上方元素, 并将主元化为 \(1\), 得到简化行阶梯形矩阵; 也可对阶梯形方程组直接回代求解.

Example 求解

\[\left\{ \begin{array}{rcl} x_1+x_2+4x_3&=&1,\\ 5x_1+x_2+4x_3&=&5,\\ x_1+3x_2&=&0. \end{array} \right.\]

Solution 其系数矩阵和增广矩阵分别为

\[A= \left( \begin{array}{ccc} 1&1&4\\ 5&1&4\\ 1&3&0 \end{array} \right), \qquad (A\mid b)= \left( \begin{array}{ccc|c} 1&1&4&1\\ 5&1&4&5\\ 1&3&0&0 \end{array} \right).\]

对增广矩阵做初等行变换, 可得到简化行阶梯形矩阵

\[\left( \begin{array}{ccc|c} 1&0&0&1\\ 0&1&0&-\dfrac13\\ 0&0&1&\dfrac1{12} \end{array} \right).\]

因此方程组有唯一解

\[(x_1,x_2,x_3)=\left(1,-\dfrac13,\dfrac1{12}\right).\]

1.2 Solution Cases

设线性方程组经过消元后得到阶梯形方程组, 非零行个数为 \(r\), 未知量个数为 \(n\).

Theorem 阶梯形线性方程组的解有以下情形:

若出现一行形如 \(0 = d\) 且 \(d \neq 0\), 则方程组无解.
若不出现矛盾行, 则方程组有解.
在有解时, 若 \(r=n\), 则没有自由变量, 方程组有唯一解.
在有解时, 若 \(r\lt n\), 则存在自由变量, 方程组有无穷多解.

Remark 自由变量个数为 \(n-r\). 这正是后面"解空间维数"的来源.

Definition 齐次线性方程组是指右端项为零的方程组

\[A x = 0.\]

Proposition 齐次线性方程组总有零解. 若存在一个非零解 \(x_0\), 则对任意 \(k\in\mathbb K\), \(kx_0\) 仍是解; 因而齐次方程组只要有一个非零解, 就有无穷多个非零解.

Corollary 若 \(n\) 元齐次线性方程组的方程个数 \(s\lt n\), 则必有非零解.

1.3 Fields

Definition 设 \(\mathbb K\subseteq\mathbb C\). 若 \(0,1\in\mathbb K\), 且对任意 \(a,b\in\mathbb K\) 有

\[a\pm b\in\mathbb K,\qquad ab\in\mathbb K,\qquad b\neq 0\Longrightarrow \frac{a}{b}\in\mathbb K,\]

则称 \(\mathbb K\) 是一个数域, 或称一个 field.

Example 常见数域包括:

\(\mathbb Q\): 有理数域.
\(\mathbb R\): 实数域.
\(\mathbb C\): 复数域, 是 \(\mathbb C\) 的子集意义下最大的数域.

整数集 \(\mathbb Z\) 对除法不封闭, 因此不是数域.

Proposition 任意数域都包含 \(\mathbb Q\).

Proof 设 \(\mathbb K\) 为数域. 由 \(1\in\mathbb K\) 和加法封闭可得 \(2,3,\cdots,n,\cdots\in\mathbb K\). 由减法封闭可得所有负整数也在 \(\mathbb K\) 中, 因而 \(\mathbb Z\subseteq\mathbb K\). 再由除法封闭可得任意有理数 \(p/q\) \((q\neq 0)\) 都属于 \(\mathbb K\), 所以 \(\mathbb Q\subseteq\mathbb K\).

Remark 大多数线性代数结论都成立于一般数域 \(\mathbb K\) 上, 只是在"正交"“正定"“实对称矩阵"这些主题里, 我们通常回到 \(\mathbb R\).

2 Determinants

行列式计算常用思路如下:

通过初等变形化为上三角形行列式, 再取主对角线元素之积.
利用行或列的线性性拆分行列式; 拆分后若出现相同或成比例的行/列, 对应项为 \(0\).
对含倍角公式的行列式, 可先将倍角升幂展开, 再利用线性性拆分.
当各行元素和相同, 或各行之间有错位、等差、递推等规律时, 可先作行和或逐行作差.
按一行/列或多行/列展开, 通常先把目标行/列化到只含少量非零元素.
使用归纳法、递推法、加边法或升阶法, 将问题化为已知形式.
识别特殊行列式, 例如 Vandermonde 行列式.
计算结束后检查参数取值是否导致特殊情形.

2.1 Permutations and Sign

Definition \(n\) 个不同自然数的一个全排列称为一个 \(n\) 元排列. 通常把 \(1,2,\cdots,n\) 的一个重排写成

\[j_1j_2\cdots j_n.\]

若一对数中较小者排在较大者之前, 则称这一对构成顺序; 若较大者排在较小者之前, 则称这一对构成逆序. 逆序的个数称为逆序数, 记作 \(\tau\).

Example 排列 \(2143\) 有两个逆序, 即 \((2,1)\) 和 \((4,3)\), 因此

\[\tau(2143)=2.\]

Definition 逆序数为奇数的排列称为奇排列, 逆序数为偶数的排列称为偶排列. 交换排列中任意一对数的位置称为一次对换.

Proposition 一次对换会改变 \(n\) 元排列的奇偶性.

Proposition 任意 \(n\) 元排列都可以通过若干次对换变为自然顺序排列. 所需对换次数的奇偶性与该排列逆序数的奇偶性相同.

Proposition 一个 \(n\) 元排列与其逆序排列的逆序数之和等于可构成的二元数组数目:

\[\tau(j_1j_2\cdots j_n)+\tau(j_nj_{n-1}\cdots j_1) = C_n^2 = \frac{n(n-1)}{2}.\]

2.2 Determinants of Order n

Definition 对 \(n\) 阶矩阵 \(A=(a_{ij})\), 其行列式记作 \(|A|\) 或 \(\det A\), 定义为

\[|A| = \sum_{j_1j_2\cdots j_n} (-1)^{\tau(j_1j_2\cdots j_n)} a_{1j_1}a_{2j_2}\cdots a_{nj_n},\]

其中求和遍历 \(1,2,\cdots,n\) 的所有排列 \(j_1j_2\cdots j_n\). 每一项都从每一行和每一列各取一个元素.

同一个乘积也可以按列指标排列写成

\[(-1)^{\tau(i_1i_2\cdots i_n)} a_{i_1 1}a_{i_2 2}\cdots a_{i_n n}.\]

更一般地, 若 \(i_1,\cdots,i_n\) 与 \(j_1,\cdots,j_n\) 都是 \(1,\cdots,n\) 的排列, 则取自不同行不同列的乘积

\[a_{i_1j_1}a_{i_2j_2}\cdots a_{i_nj_n}\]

在完全展开式中的符号由

\[(-1)^{\tau(i_1i_2\cdots i_n)+\tau(j_1j_2\cdots j_n)}\]

决定.

Proposition 上三角 \(n\) 阶行列式的值等于主对角线上 \(n\) 个元素的乘积.

Proposition 行列式对任意一行都是线性的. 特别地:

若第 \(i\) 行所有元素都有公因子 \(k\), 则该行的公因子 \(k\) 可以提出到行列式外.
若第 \(i\) 行可写成两行之和, 则原行列式可拆成两个行列式之和.

列也满足完全相同的性质.

Proposition 交换行列式的任意两行会使行列式变号; 交换任意两列也会使行列式变号.

Corollary 若行列式有两行相同或成比例, 则行列式为 \(0\). 对列也成立.

Corollary 把一行的倍数加到另一行上, 行列式的值不变. 对列也成立.

2.3 Row and Column Expansion

Definition 矩阵 \(A=(a_{ij})\) 的转置矩阵记作 \(A^{\mathsf{T}}\) 或 \(A^t\), 定义为把 \(A\) 的行列互换:

\[(A^{\mathsf{T}})_{ij}=a_{ji}.\]

Proposition 转置不改变行列式:

\[|A^{\mathsf{T}}|=|A|.\]

因此按行得到的行列式性质都可对应转化为按列的性质.

Definition 划去 \(n\) 阶行列式 \(|A|\) 的第 \(i\) 行第 \(j\) 列后, 剩下元素按原次序组成的 \((n-1)\) 阶行列式称为 \(a_{ij}\) 的余子式, 记作 \(M_{ij}\).

Definition 代数余子式定义为

\[A_{ij} = (-1)^{i+j} M_{ij}.\]

Theorem 行列式可按第 \(i\) 行展开:

\[|A| = \sum_{j=1}^n a_{ij} A_{ij}.\]

同理也可按任意一列展开.

Proposition 若 \(k \neq i\), 则

\[\sum_{j=1}^n a_{ij} A_{kj} = 0.\]

即一个行列式的第 \(i\) 行元素与另一行 \(k\) 的相应代数余子式乘积之和为 \(0\). 对列也成立.

Example Vandermonde 行列式:

\[\begin{vmatrix} 1 & 1 & \cdots & 1 \\ a_1 & a_2 & \cdots & a_n \\ a_1^2 & a_2^2 & \cdots & a_n^2 \\ \vdots & \vdots & \ddots & \vdots \\ a_1^{n-1} & a_2^{n-1} & \cdots & a_n^{n-1} \end{vmatrix} = \prod_{1\leq j\lt i\leq n}(a_i-a_j).\]

Proof 可用数学归纳法并逐行作差计算.

2.4 Cramer’s Rule

Theorem 数域 \(\mathbb K\) 上 \(n\) 个方程的 \(n\) 元线性方程组

\[A x=b\]

有唯一解的充要条件是系数行列式 \(|A|\neq 0\).

Proof 该结论可由消元法得到: \(n\) 阶矩阵的初等行变换不改变其行列式是否为零, 而方程组有唯一解等价于系数矩阵可经初等行变换化为单位矩阵.

Theorem 若 \(A x=b\) 的系数行列式 \(|A|\neq 0\), 则其唯一解为

\[\left( \frac{|B_1|}{|A|}, \frac{|B_2|}{|A|}, \cdots, \frac{|B_n|}{|A|} \right),\]

其中 \(B_j\) 表示把 \(A\) 的第 \(j\) 列替换为右端列向量 \(b=(b_1,\cdots,b_n)^{\mathsf{T}}\) 得到的矩阵.

Proof 记 \(A_{kj}\) 为 \(A\) 中元素 \(a_{kj}\) 的代数余子式. 因为 \(B_j\) 只把第 \(j\) 列替换为 \(b\), 按第 \(j\) 列展开有

\[|B_j|=\sum_{k=1}^{n} b_k A_{kj}.\]

把候选解 \(x_j=|B_j|/|A|\) 代入第 \(i\) 个方程, 得

\[\begin{aligned} \sum_{j=1}^{n}a_{ij}x_j &= \frac{1}{|A|}\sum_{j=1}^{n}a_{ij}|B_j|\\ &= \frac{1}{|A|}\sum_{k=1}^{n}b_k\left(\sum_{j=1}^{n}a_{ij}A_{kj}\right)\\ &= \frac{1}{|A|}b_i|A| = b_i. \end{aligned}\]

这里用到 \(i\neq k\) 时 \(\sum_j a_{ij}A_{kj}=0\), 而 \(i=k\) 时 \(\sum_j a_{ij}A_{ij}=|A|\). 因此 Cramer 公式确实给出方程组的解; 又由 \(|A|\neq 0\) 得唯一性.

Remark Cramer 法则理论上很整洁, 但在计算上通常不如消元法高效. 它更适合证明和小规模计算.

2.5 Expansion by k Rows or Columns

Definition 在 \(n\) 阶行列式 \(|A|\) 中任取 \(k\) 行

\[i_1\lt i_2\lt \cdots\lt i_k\]

和 \(k\) 列

\[j_1\lt j_2\lt \cdots\lt j_k,\]

交叉处 \(k^2\) 个元素组成的 \(k\) 阶行列式称为 \(|A|\) 的一个 \(k\) 阶子式, 记作

\[A\binom{i_1,i_2,\cdots,i_k}{j_1,j_2,\cdots,j_k}.\]

若行标与列标相同, 则称为主子式.

Definition 划去这些行和列后, 剩下元素按原次序组成的 \((n-k)\) 阶行列式称为该 \(k\) 阶子式的余子式. 设补行标和补列标分别为

\[\{i_1',i_2',\cdots,i_{n-k}'\} = \{1,2,\cdots,n\}\setminus\{i_1,i_2,\cdots,i_k\},\]\[\{j_1',j_2',\cdots,j_{n-k}'\} = \{1,2,\cdots,n\}\setminus\{j_1,j_2,\cdots,j_k\},\]

且都按从小到大排列. 对应余子式为

\[A\binom{i_1',i_2',\cdots,i_{n-k}'}{j_1',j_2',\cdots,j_{n-k}'}.\]

该余子式乘以符号

\[(-1)^{(i_1+\cdots+i_k)+(j_1+\cdots+j_k)}\]

称为原 \(k\) 阶子式的代数余子式.

Theorem Laplace 定理: 在 \(n\) 阶行列式中选定 \(k\) 行 \(i_1\lt i_2\lt \cdots\lt i_k\), 则这些行形成的所有 \(k\) 阶子式与其代数余子式的乘积之和等于 \(|A|\):

\[\begin{aligned} |A| &= \sum_{1\leq j_1\lt j_2\lt \cdots\lt j_k\leq n} A\binom{i_1,i_2,\cdots,i_k}{j_1,j_2,\cdots,j_k}\\ &\quad\times (-1)^{(i_1+\cdots+i_k)+(j_1+\cdots+j_k)} A\binom{i_1',i_2',\cdots,i_{n-k}'}{j_1',j_2',\cdots,j_{n-k}'}. \end{aligned}\]

按 \(k\) 列展开也有完全类似的公式.

Corollary 块三角行列式满足

\[\begin{vmatrix} A_{k\times k} & 0\\ C_{r\times k} & B_{r\times r} \end{vmatrix} = |A|\,|B|.\]

3 Vector Spaces, Rank, and Solution Structure

3.1 Coordinate Vector Space

Definition \(\mathbb K^n\) 是数域 \(\mathbb K\) 上所有 \(n\) 元有序数组构成的集合. 在逐分量加法和数乘下, 它构成一个 \(n\) 维向量空间, 其元素称为 \(n\) 维向量.

设向量

\[\alpha=(a_1,a_2,\cdots,a_n),\]

则 \(a_i\) 称为 \(\alpha\) 的第 \(i\) 个分量.

Definition \(n\) 元有序数组写成一行

\[(a_1,a_2,\cdots,a_n)\]

时称为行向量; 写成一列时称为列向量. 在解方程组和线性映射中, 常把未知量写成列向量.

Definition 非空子集 \(U \subseteq \mathbb K^n\) 若对加法和数乘都封闭, 则称 \(U\) 为 \(\mathbb K^n\) 的子空间.

Definition 向量组 \(\alpha_1,\cdots,\alpha_s\) 的所有线性组合组成的集合记作

\[\langle \alpha_1,\cdots,\alpha_s \rangle,\]

称为它们的张成空间.

Proposition 数域 \(\mathbb K\) 上的线性方程组

\[x_1\alpha_1+x_2\alpha_2+\cdots+x_s\alpha_s=\beta\]

有解当且仅当

\[\beta\in\langle\alpha_1,\alpha_2,\cdots,\alpha_s\rangle.\]

3.2 Linear Dependence

Definition 向量组 \(\alpha_1,\cdots,\alpha_s\) \((s\geq 1)\) 若存在不全为零的标量 \(k_1,\cdots,k_s\in\mathbb K\), 使得

\[k_1 \alpha_1 + \cdots + k_s \alpha_s = 0,\]

则称该向量组线性相关. 若上式只能推出 \(k_1=\cdots=k_s=0\), 则称该向量组线性无关.

Proposition 基本判别:

包含零向量的向量组一定线性相关.
单个向量构成的向量组线性相关当且仅当该向量为零向量.
线性相关的向量组中至少有一个向量可由其余向量线性表出.

Proposition 对列向量组 \(\alpha_1,\cdots,\alpha_s\):

\(\alpha_1,\cdots,\alpha_s\) 线性相关当且仅当齐次线性方程组 \[x_1\alpha_1+x_2\alpha_2+\cdots+x_s\alpha_s=0\] 有非零解.
\(\alpha_1,\cdots,\alpha_s\) 线性无关当且仅当该齐次线性方程组只有零解.

Proposition 对 \(n\) 个 \(n\) 维向量 \(\alpha_1,\cdots,\alpha_n\), 以它们为列向量或行向量组成方阵, 则:

向量组线性相关当且仅当该方阵行列式为 \(0\).
向量组线性无关当且仅当该方阵行列式不为 \(0\).

Proposition 设 \(\beta\) 可由 \(\alpha_1,\cdots,\alpha_s\) 线性表出.

若 \(\alpha_1,\cdots,\alpha_s\) 线性无关, 则 \(\beta\) 的表出方式唯一.
若 \(\alpha_1,\cdots,\alpha_s\) 线性相关, 则 \(\beta\) 的表出方式有无穷多种.

Proposition 线性相关和线性无关具有以下稳定性:

若向量组的某个部分组线性相关, 则整个向量组线性相关.
若向量组线性无关, 则它的任意部分组都线性无关.
若向量组线性无关, 把每个向量在相同位置添加同样数量的新分量, 所得延伸组仍线性无关.
若向量组线性相关, 把每个向量去掉相同位置的若干分量, 所得缩短组仍线性相关.

Proposition 若 \(\alpha_1,\cdots,\alpha_s\) 线性无关, 则 \(\beta\) 不能由 \(\alpha_1,\cdots,\alpha_s\) 线性表出的充要条件是

\[\alpha_1,\alpha_2,\cdots,\alpha_s,\beta\]

线性无关.

3.3 Rank of a Vector Set

Definition 若向量组的一个部分组本身线性无关, 且从原向量组其余向量中任取一个加入后都变成线性相关, 则称这个部分组为原向量组的一个极大线性无关组.

Definition 若向量组 \(\alpha_1,\cdots,\alpha_s\) 与向量组 \(\beta_1,\cdots,\beta_r\) 可以互相线性表出, 则称这两个向量组等价, 记作

\[\{\alpha_1,\cdots,\alpha_s\}\simeq\{\beta_1,\cdots,\beta_r\}.\]

向量组等价具有传递性. 向量组与它的任意极大线性无关组等价, 同一向量组的任意两个极大线性无关组也等价.

Proposition 向量 \(\beta\) 可由 \(\alpha_1,\cdots,\alpha_s\) 线性表出, 当且仅当 \(\beta\) 可由 \(\alpha_1,\cdots,\alpha_s\) 的一个极大线性无关组线性表出.

Definition 向量组的极大线性无关组所含向量的个数称为该向量组的秩, 记作

\[\operatorname{rank}\{\alpha_1,\alpha_2,\cdots,\alpha_s\}.\]

零向量组的秩规定为 \(0\).

Proposition 向量组 \(\alpha_1,\cdots,\alpha_s\) 线性无关的充要条件是

\[\operatorname{rank}\{\alpha_1,\cdots,\alpha_s\}=s.\]

因此等价的线性无关向量组所含向量个数相等.

Proposition 若向量组 \(\beta_1,\cdots,\beta_r\) 可由向量组 \(\alpha_1,\cdots,\alpha_s\) 线性表出, 则

\[\operatorname{rank}\{\beta_1,\cdots,\beta_r\} \leq \operatorname{rank}\{\alpha_1,\cdots,\alpha_s\}.\]

等价向量组有相等的秩, 但秩相等的向量组不一定等价.

Proposition 设 \(A=(a_{ij})_{n\times n}\) 严格按行主对角占优:

\[|a_{ii}|>\sum_{j\neq i}|a_{ij}|, \qquad i=1,\cdots,n.\]

则 \(A\) 的行向量组和列向量组都线性无关, 等价地 \(\operatorname{rank}(A)=n\), 因而 \(|A|\neq 0\).

Proof 以列向量组为例. 若列向量 \(\alpha_1,\cdots,\alpha_n\) 线性相关, 则存在不全为零的 \(k_1,\cdots,k_n\) 使

\[k_1\alpha_1+\cdots+k_n\alpha_n=0.\]

取 \(|k_l|=\max\{|k_1|,\cdots,|k_n|\}\). 考察第 \(l\) 个分量可得

\[a_{ll}=-\sum_{j\neq l}\frac{k_j}{k_l}a_{lj},\]

从而

\[|a_{ll}| \leq \sum_{j\neq l}\left|\frac{k_j}{k_l}\right|\,|a_{lj}| \leq \sum_{j\neq l}|a_{lj}|,\]

与严格主对角占优矛盾. 因而列向量组线性无关, \(|A|\neq0\), 行向量组也线性无关.

若进一步要求 \(A\) 为实矩阵且所有 \(a_{ii}>0\), 则可用连续变形

\[B(t)= \begin{pmatrix} a_{11} & ta_{12} & \cdots & ta_{1n}\\ ta_{21} & a_{22} & \cdots & ta_{2n}\\ \vdots & \vdots & \ddots & \vdots\\ ta_{n1} & ta_{n2} & \cdots & a_{nn} \end{pmatrix}, \qquad 0\leq t\leq 1,\]

\(B(t)\) 在 \(0\leq t\leq1\) 上始终严格按行主对角占优, 故其行列式不为零. 又 \(|B(0)|=\prod_i a_{ii}>0\), 由实值行列式的连续性可得 \(|A|=|B(1)|>0\).

Corollary 对 \(s\times n\) 矩阵 \((s\leq n)\), 若存在一个 \(s\times s\) 子矩阵满足严格主对角占优, 则该矩阵的秩为 \(s\).

3.4 Basis and Dimension

Definition 若子空间 \(U\) 中的向量组 \(\alpha_1,\cdots,\alpha_r\) 满足:

线性无关.
\(U\) 中每个向量都可以由 \(\alpha_1,\cdots,\alpha_r\) 线性表出.

则称其为 \(U\) 的一组基.

Example \(\mathbb K^n\) 的标准基为

\[\varepsilon_1=(1,0,\cdots,0),\quad \varepsilon_2=(0,1,\cdots,0),\quad \cdots,\quad \varepsilon_n=(0,0,\cdots,1).\]

Proposition 子空间 \(U\) 的任意一个线性无关向量组都可以扩充为 \(U\) 的一个基.

Proposition 设 \(\alpha_1,\cdots,\alpha_r\) 是子空间 \(U\) 的一组基. 对任意 \(\alpha\in U\), 存在唯一一组坐标 \((a_1,\cdots,a_r)\), 使得

\[\alpha=a_1\alpha_1+a_2\alpha_2+\cdots+a_r\alpha_r.\]

Definition 非零子空间 \(U\) 的任意一个基所含向量个数称为 \(U\) 的维数, 记作 \(\dim_{\mathbb K}U\) 或 \(\dim U\). 零子空间的维数规定为 \(0\).

Theorem 若 \(\dim U = r\), 则:

\(U\) 中任意 \(r+1\) 个向量线性相关.
\(U\) 中任意 \(r\) 个线性无关向量自动构成一组基.

Theorem 设 \(U,W\) 都是 \(\mathbb K^n\) 的非零子空间, 且 \(U\subseteq W\), 则

\[\dim U\leq \dim W.\]

等号成立当且仅当 \(U=W\).

Proposition 向量组 \(\alpha_1,\cdots,\alpha_s\) 的一个极大线性无关组是其张成空间

\[\langle\alpha_1,\cdots,\alpha_s\rangle\]

的一组基. 因而

\[\dim\langle\alpha_1,\cdots,\alpha_s\rangle = \operatorname{rank}\{\alpha_1,\cdots,\alpha_s\}.\]

Definition 对矩阵 \(A_{s\times n}\), 其列向量组 \(\alpha_1,\cdots,\alpha_n\) 生成的子空间称为 \(A\) 的列空间; 其行向量组 \(\gamma_1,\cdots,\gamma_s\) 生成的子空间称为 \(A\) 的行空间.

列空间和行空间的维数分别等于列向量组和行向量组的秩, 也称为列秩和行秩.

3.5 Rank of a Matrix

Theorem 设 \(J\) 是阶梯形矩阵, 其非零行个数为 \(r\). 则 \(J\) 的行秩和列秩相等, 都等于 \(r\). 并且 \(J\) 的主元所在列构成列向量组的一个极大线性无关组.

Definition 矩阵的列向量组的秩称为列秩, 行向量组的秩称为行秩.

Theorem 任意矩阵 \(A\) 的行秩与列秩相等. 这个共同的数称为矩阵的秩, 记作 \(\operatorname{rank}(A)\).

Definition 若 \(n\) 阶矩阵 \(A\) 满足

\[\operatorname{rank}(A)=n,\]

则称 \(A\) 为满秩矩阵.

Proposition 初等行变换不改变矩阵的秩, 也不改变矩阵列向量组的线性相关关系. 若 \(A\) 经初等行变换得到阶梯形矩阵 \(J\), 则 \(J\) 的主元所在列对应到 \(A\) 的列向量, 构成 \(A\) 的列向量组的一个极大线性无关组.

Theorem 非零矩阵的秩等于其非零子式的最高阶数.

Proposition 设 \(s\times n\) 矩阵 \(A\) 的秩为 \(r\). 若某个非零 \(r\) 阶子式位于若干指定行和列, 则这些列构成列向量组的一个极大线性无关组, 这些行构成行向量组的一个极大线性无关组.

Proposition 设 \(\operatorname{rank}(A_{m\times n})=r\). 若 \(A_1\) 是由 \(A\) 的 \(s\) 行组成的子矩阵, 则

\[\operatorname{rank}(A_1)\geq r+s-m.\]

Proof 设 \(\operatorname{rank}(A_1)=l\). 取 \(A_1\) 的行向量组的一个极大线性无关组, 并将其扩充为 \(A\) 的行向量组的一个极大线性无关组. 扩充时最多只能加入 \(m-s\) 个不属于 \(A_1\) 的行向量, 因而

\[r-l\leq m-s,\]

即 \(l\geq r+s-m\).

3.6 Rank Criterion for Linear Systems

对数域 \(\mathbb K\) 上由 \(s\) 个方程组成的 \(n\) 元线性方程组

\[x_1\alpha_1+x_2\alpha_2+\cdots+x_n\alpha_n=\beta,\]

记其系数矩阵和增广矩阵分别为 \(A\) 与 \(\widetilde A=(A\mid \beta)\).

Theorem 方程组有解当且仅当

\[\operatorname{rank}(A) = \operatorname{rank}(\widetilde A).\]

这就是 Rouché-Capelli 判别准则.

Proof 方程组有解等价于 \(\beta\) 可由 \(A\) 的列向量线性表出, 也就等价于把 \(\beta\) 加入列向量组后不增加张成空间维数.

Corollary 若方程组有解, 则:

当 \(\operatorname{rank}(A) = n\) 时, 解唯一.
当 \(\operatorname{rank}(A) \lt n\) 时, 解有无穷多.

Corollary 若要求对所有右端项 \(\beta\in\mathbb K^s\), 只要方程组有解就能保证存在非零解, 其充要条件是

\[\operatorname{rank}(A)\lt n.\]

Proposition 增广矩阵的秩满足

\[\operatorname{rank}(\widetilde A) = \begin{cases} \operatorname{rank}(A), & \text{方程组有解},\\ \operatorname{rank}(A)+1, & \text{方程组无解}. \end{cases}\]

Proof 第一种情形即上面的有解判别. 若方程组无解, 则 \(\beta\notin\langle\alpha_1,\cdots,\alpha_n\rangle\). 取 \(\alpha_1,\cdots,\alpha_n\) 的一个极大线性无关组 \(\alpha_{i_1},\cdots,\alpha_{i_r}\), 则

\[\beta,\alpha_{i_1},\cdots,\alpha_{i_r}\]

线性无关, 所以增广矩阵的秩为 \(r+1=\operatorname{rank}(A)+1\).

3.7 Structure of Homogeneous Solutions

Definition 数域 \(\mathbb K\) 上 \(n\) 元齐次线性方程组

\[x_1\alpha_1+x_2\alpha_2+\cdots+x_n\alpha_n=0\]

的解集 \(W\) 称为解空间, 其中元素称为解向量.

Proposition \(W\) 是 \(\mathbb K^n\) 的子空间. 即若 \(\gamma,\delta\in W\), 则 \(\gamma+\delta\in W\); 若 \(\gamma\in W\), \(k\in\mathbb K\), 则 \(k\gamma\in W\).

Definition 解空间 \(W\) 的一组基称为该齐次线性方程组的一个基础解系.

Proposition 若 \(\operatorname{rank}(A)=n\), 则

\[W=\{0\},\]

解向量唯一. 若 \(\operatorname{rank}(A)\lt n\), 则 \(W\) 有非零向量, 且 \(W\) 的任一组基都是基础解系.

Theorem 数域 \(\mathbb K\) 上 \(n\) 元齐次线性方程组的解空间维数为

\[\dim W = n-\operatorname{rank}(A).\]

因此基础解系中解向量的个数也是 \(n-\operatorname{rank}(A)\).

Proposition 设 \(n\) 个方程的 \(n\) 元齐次线性方程组满足 \(|A|=0\). 若 \(A_{kl}\neq 0\) 是 \(A\) 的一个代数余子式, 则

\[\eta=(A_{k1},A_{k2},\cdots,A_{kn})^{\mathsf{T}}\]

是一个非零解向量. 当 \(\operatorname{rank}(A)=n-1\) 时, 它可作为一个基础解系.

Corollary 若 \(|A|=0\), 则 \(A\) 的代数余子式组成的矩阵中, 任意两行或两列都线性相关; 其中非零的行或列互相成比例. 若存在非零代数余子式, 行向量间的结论可由上面的基础解系结论推出, 列向量间的结论可对 \(A^{\mathsf{T}}\) 使用同一论证; 若所有代数余子式都为零, 则结论平凡成立.

3.8 Structure of Nonhomogeneous Solutions

Definition 非齐次线性方程组

\[x_1\alpha_1+x_2\alpha_2+\cdots+x_n\alpha_n=\beta\]

的导出组是对应的齐次线性方程组

\[x_1\alpha_1+x_2\alpha_2+\cdots+x_n\alpha_n=0.\]

记非齐次方程组的解集为 \(U\), 导出组的解空间为 \(W\). 一般 \(U\) 不是 \(\mathbb K^n\) 的子空间, 因为它通常不对加法和数乘封闭.

Proposition 若 \(\gamma,\delta\in U\), 则

\[\gamma-\delta\in W.\]

若 \(\gamma\in U\), \(\eta\in W\), 则

\[\gamma+\eta\in U.\]

Theorem 若非齐次线性方程组有解, 且 \(\gamma_0\) 是它的任一特解, 则其全部解为

\[U=\{\gamma_0+\eta\mid \eta\in W\} = \gamma_0+W.\]

其中 \(W\) 为导出组的解空间. 因此 \(U\) 是子空间 \(W\) 的一个陪集, 也可称为一个 \(W\) 型线性流形.

Corollary 有解的非齐次方程组的解集是仿射子空间, 其仿射维数定义为平移方向空间 \(W\) 的维数:

\[\dim_{\mathrm{aff}}U=\dim W=n-\operatorname{rank}(A).\]

当非齐次方程组解唯一时, 导出组只有零解; 当非齐次方程组有无穷多解时, 导出组必有非零解.

这里 \(A\) 是系数矩阵, \(n\) 是未知量个数. 当右端向量非零时, \(U\) 不含零向量, 不是向量子空间.

求非齐次线性方程组的一般解时, 可按以下步骤:

将增广矩阵化为简化行阶梯形矩阵. 若出现矛盾行则无解; 否则将主元变量写成常数加自由变量的线性组合.
令自由未知量全为零, 得到一个特解 \(\gamma_0\).
写出导出齐次方程组的通解, 并取其基础解系 \(\eta_1,\cdots,\eta_{n-r}\).
写出非齐次方程组的全部解:
\[U=\{\gamma_0+k_1\eta_1+\cdots+k_{n-r}\eta_{n-r}\mid k_i\in\mathbb K\}.\]

Remark 三元线性方程组的解若构成 \(O-x_1x_2x_3\) 中的一条直线, 则其解集的仿射维数为 \(1\), 因而对应系数矩阵的秩为 \(2\). 多元情形类似.

Remark 讨论由线性方程描述的直线、平面或高维仿射子空间的交集时, 将全部约束合并为一个线性方程组, 再以系数矩阵与增广矩阵的秩作为分类依据. 该方法不直接适用于一般非线性曲面:

若秩相等, 则有公共点; 若秩相差 \(1\), 则无公共点.
在有公共点时, 再由秩的大小判断公共点、公共线或公共面等类型.
对两个法向量非零的超平面, 系数行成比例时, 增广行也按同一比例对应则重合, 否则平行且不相交. 一般仿射子空间应使用完整约束组判断.

Remark 求经过给定点的直线、平面或固定次数的代数曲面时, 可先把方程写成未知系数的线性组合 \(\sum_{j=1}^m c_j\phi_j(\mathbf x)=0\), 再将各点代入形成齐次系数方程组 \(Mc=0\). 存在非零系数解当且仅当 \(\operatorname{rank}(M)\lt m\). 只有系数矩阵为方阵时才能直接使用 \(\det M=0\). 这表示关于未知系数的线性问题, 不要求基函数 \(\phi_j\) 关于坐标为线性函数; 还应检查所得方程是否退化.

4 Matrix Algebra

4.1 Matrix Operations

矩阵的加法与数乘按元素逐项定义. 下面重点记录矩阵乘法.

Definition 设 \(A=(a_{ij})_{s\times n}\), \(B=(b_{ij})_{n\times m}\). 它们的乘积 \(C=AB=(c_{ij})_{s\times m}\) 定义为

\[c_{ij} = \sum_{k=1}^n a_{ik} b_{kj}.\]

Proposition 矩阵乘法满足结合律:

\[(AB)C=A(BC).\]

它也满足分配律:

\[A(B+C)=AB+AC,\qquad (B+C)D=BD+CD.\]

但矩阵乘法一般不满足交换律, 也一般不满足消去律. 即使 \(AC=BC\) 且 \(C\neq0\), 也不能推出 \(A=B\).

Definition 对矩阵 \(A\):

若存在非零矩阵 \(B\), 使 \(AB=0\), 则称 \(A\) 是左零因子.
若存在非零矩阵 \(C\), 使 \(CA=0\), 则称 \(A\) 是右零因子.

零矩阵是平凡的零因子.

Proposition 单位矩阵满足

\[I_s A_{s\times n}=A_{s\times n},\qquad A_{s\times n}I_n=A_{s\times n}.\]

若 \(kI\) 是数量矩阵, 即主对角元全为 \(k\), 其余元为 \(0\), 则 \(kI\) 与同阶方阵可交换:

\[(kI)A=A(kI).\]

Proposition 若方阵 \(A\) 与 \(B\) 可交换, 则 \((A+B)^n\) 可按二项式定理展开. 若 \(A,B\) 都可逆, 则

\[(AB)^{-1}=B^{-1}A^{-1}.\]

Remark 矩阵乘法可以从列向量或行向量角度理解. 若

\[A=(\alpha_1,\alpha_2,\cdots,\alpha_n),\]

则 \(AB\) 的第 \(j\) 列是 \(A\) 的列向量按 \(B\) 第 \(j\) 列系数组成的线性组合:

\[AB= \left( \sum_{i=1}^n b_{i1}\alpha_i, \sum_{i=1}^n b_{i2}\alpha_i, \cdots, \sum_{i=1}^n b_{im}\alpha_i \right).\]

等价地, 若 \(B=(\gamma_1,\gamma_2,\cdots,\gamma_m)\) 是按列分块, 则

\[AB=(A\gamma_1,A\gamma_2,\cdots,A\gamma_m).\]

Example 平面中的转动矩阵常写作

\[\begin{pmatrix} \cos\theta & -\sin\theta\\ \sin\theta & \cos\theta \end{pmatrix}.\]

4.2 Special Matrices

Definition 对角矩阵记作

\[\operatorname{diag}(d_1,d_2,\cdots,d_n).\]

左乘一个对角矩阵相当于用对角元分别乘对应行; 右乘一个对角矩阵相当于用对角元分别乘对应列.

Definition 基本矩阵 \(E_{ij}\) 是只有第 \(i\) 行第 \(j\) 列元素为 \(1\), 其余元素全为 \(0\) 的矩阵.

Proposition 基本矩阵满足

\[E_{ij}E_{kl} = \begin{cases} E_{il}, & j=k,\\ 0, & j\neq k. \end{cases}\]

因此

\[E_{ij}AE_{kl}=a_{jk}E_{il}.\]

左乘 \(E_{ij}\) 相当于把原矩阵第 \(j\) 行搬到第 \(i\) 行, 其余行变为零; 右乘 \(E_{ij}\) 相当于把原矩阵第 \(i\) 列搬到第 \(j\) 列, 其余列变为零.

Definition 上三角矩阵是满足 \(a_{ij}=0\) for \(i>j\) 的方阵; 下三角矩阵是满足 \(a_{ij}=0\) for \(i\lt j\) 的方阵.

Proposition 两个 \(n\) 阶上三角矩阵的乘积仍是上三角矩阵, 且乘积的主对角元等于相应主对角元的乘积.

Proof 若

\[A=\sum_{i=1}^n\sum_{j=i}^n a_{ij}E_{ij}, \qquad B=\sum_{k=1}^n\sum_{l=k}^n b_{kl}E_{kl},\]

则

\[\begin{aligned} AB &= \sum_{i=1}^n\sum_{j=i}^n\sum_{k=1}^n\sum_{l=k}^n a_{ij}b_{kl}E_{ij}E_{kl}\\ &= \sum_{i=1}^n\sum_{l=i}^n \left(\sum_{j=i}^l a_{ij}b_{jl}\right)E_{il}. \end{aligned}\]

所以 \(AB\) 仍为上三角矩阵, 且 \((AB)_{ii}=a_{ii}b_{ii}\).

Definition 初等矩阵是单位矩阵经过一次初等行变换或初等列变换得到的矩阵. 常用三类为

\[\begin{aligned} P(j,i(k)) &= I+kE_{ij},\\ P(i,j) &= I-E_{ii}-E_{jj}+E_{ij}+E_{ji},\\ P(i(c)) &= I+(c-1)E_{ii}. \end{aligned}\]

其中 \(i\neq j\), \(k\in\mathbb K\), \(c\in\mathbb K\setminus\{0\}\). 左乘初等矩阵相当于作相应的初等行变换; 右乘初等矩阵相当于作相应的初等列变换.

Definition 对称矩阵是满足

\[A^{\mathsf{T}}=A\]

的方阵.

Proposition 若 \(A,B\) 都是对称矩阵, 则 \(AB\) 是对称矩阵的充要条件是 \(A\) 与 \(B\) 可交换.

Proof 因为

\[(AB)^{\mathsf{T}}=B^{\mathsf{T}}A^{\mathsf{T}}=BA,\]

所以 \(AB\) 对称当且仅当 \(BA=AB\).

Definition 反对称矩阵是满足

\[A^{\mathsf{T}}=-A\]

的方阵. 此时 \(a_{ii}=0\).

Proposition 奇数阶反对称矩阵的行列式为 \(0\).

Proof 若 \(n\) 为奇数, 则

\[\det(A)=\det(A^{\mathsf{T}})=\det(-A)=(-1)^n\det(A)=-\det(A).\]

因此 \(\det(A)=0\).

Definition 设 \(A_{ij}\) 是元素 \(a_{ij}\) 的代数余子式. 矩阵 \(A=(a_{ij})\) 的伴随矩阵为

\[A^*= \begin{pmatrix} A_{11} & A_{21} & \cdots & A_{n1}\\ A_{12} & A_{22} & \cdots & A_{n2}\\ \vdots & \vdots & & \vdots\\ A_{1n} & A_{2n} & \cdots & A_{nn} \end{pmatrix}.\]

Proposition 伴随矩阵满足

\[AA^*=A^*A=\det(A)I.\]

4.3 Rank and Determinant of Matrix Products

Theorem 若矩阵乘积 \(AB\) 有定义, 则

\[\operatorname{rank}(AB)\leq \min\{\operatorname{rank}(A),\operatorname{rank}(B)\}.\]

Proof 若 \(A=(\alpha_1,\alpha_2,\cdots,\alpha_n)\) 按列分块, 则 \(AB\) 的每一列都是 \(A\) 的列向量组的线性组合, 所以

\[\operatorname{rank}(AB)\leq\operatorname{rank}(A).\]

另一方面, 按行向量理解矩阵乘法可得 \(AB\) 的行向量组由 \(B\) 的行向量组线性表出, 因此

\[\operatorname{rank}(AB)\leq\operatorname{rank}(B).\]

Theorem 对同阶方阵 \(A,B\), 有

\[\det(AB)=\det(A)\det(B).\]

该结论可由分块矩阵初等变换或对矩阵阶数归纳证明, 并可推广到多个同阶方阵的乘积.

Theorem Binet-Cauchy 公式. 设 \(A=(a_{ij})_{s\times n}\), \(B=(b_{ij})_{n\times s}\), 则

\[\det(AB)= \begin{cases} 0, & s>n,\\ \displaystyle \sum_{1\leq v_1\lt v_2\lt\cdots\lt v_s\leq n} A\binom{1,2,\cdots,s}{v_1,v_2,\cdots,v_s} B\binom{v_1,v_2,\cdots,v_s}{1,2,\cdots,s}, & s\leq n. \end{cases}\]

Proof 若 \(s>n\), 则

\[\operatorname{rank}(AB)\leq\operatorname{rank}(A)\leq n\lt s,\]

所以 \(\det(AB)=0\). 若 \(s\leq n\), 可对分块行列式

\[\begin{pmatrix} 0 & AB\\ -I & B \end{pmatrix}\]

和

\[\begin{pmatrix} A & 0\\ -I & B \end{pmatrix}\]

分别按指定行列展开并比较, 得到上述求和式.

Corollary 设 \(A=(a_{ij})_{s\times n}\), \(B=(b_{ij})_{n\times t}\). 对任意 \(r\) 阶子式, 有

\[(AB)\binom{i_1,i_2,\cdots,i_r}{j_1,j_2,\cdots,j_r} = \begin{cases} 0, & r>n,\\ \displaystyle \sum_{1\leq v_1\lt v_2\lt\cdots\lt v_r\leq n} A\binom{i_1,i_2,\cdots,i_r}{v_1,v_2,\cdots,v_r} B\binom{v_1,v_2,\cdots,v_r}{j_1,j_2,\cdots,j_r}, & r\leq n. \end{cases}\]

其中 \(i_1\lt\cdots\lt i_r\) 与 \(j_1\lt\cdots\lt j_r\) 分别为所取行指标与列指标.

4.4 Invertible Matrices

Definition 设 \(A\) 是数域 \(\mathbb K\) 上的 \(n\) 阶方阵. 若存在 \(n\) 阶方阵 \(B\), 使

\[AB=BA=I,\]

则称 \(A\) 可逆, 并称 \(B\) 为 \(A\) 的逆矩阵, 记作 \(A^{-1}\).

Proposition 逆矩阵若存在则唯一.

Proof 若 \(B\) 和 \(B_1\) 都是 \(A\) 的逆矩阵, 则

\[B=BI=BAB_1=IB_1=B_1.\]

Theorem \(A\) 可逆的充要条件是 \(\det(A)\neq0\), 等价地 \(\operatorname{rank}(A)=n\). 此时

\[A^{-1}=\frac{1}{\det(A)}A^*.\]

Proof 若 \(A\) 可逆, 对 \(AA^{-1}=I\) 取行列式得 \(\det(A)\det(A^{-1})=1\), 故 \(\det(A)\neq0\). 反之若 \(\det(A)\neq0\), 由 \(AA^*=A^*A=\det(A)I\) 得上式.

因此, \(n\) 阶可逆矩阵经初等行变换得到的简化行阶梯形矩阵为单位矩阵.

Proposition 若 \(A,B\) 可逆, 则 \(AB\) 可逆, 且

\[(AB)^{-1}=B^{-1}A^{-1}.\]

若 \(A\) 可逆, 则 \(A^{\mathsf{T}}\) 也可逆, 且

\[\left(A^{\mathsf{T}}\right)^{-1}=\left(A^{-1}\right)^{\mathsf{T}}.\]

Example 常见逆矩阵:

\(I^{-1}=I\).
若
\[A= \begin{pmatrix} a & b\\ c & d \end{pmatrix}, \qquad ad-bc\neq0,\]
则
\[A^{-1} = \frac{1}{ad-bc} \begin{pmatrix} d & -b\\ -c & a \end{pmatrix}.\]
初等矩阵的逆为
\[\begin{aligned} P(j,i(k))^{-1} &= P(j,i(-k)),\\ P(i,j)^{-1} &= P(i,j),\\ P(i(c))^{-1} &= P(i(c^{-1})). \end{aligned}\]

Theorem 矩阵 \(A\) 可逆的充要条件是 \(A\) 可以表示为有限个初等矩阵的乘积.

Proof 若 \(A\) 可逆, 则 \(A\) 可通过初等行变换化为 \(I\), 于是 \(A\) 可由对应初等矩阵的逆乘积表示. 反之, 初等矩阵均可逆, 可逆矩阵的乘积仍可逆.

初等行变换法求逆:

\[(A,I)\xrightarrow{\text{elementary row operations}}(I,A^{-1}).\]

Proposition 可逆矩阵左乘或右乘一个矩阵不改变该矩阵的秩.

4.5 Block Matrices

Definition 把矩阵 \(A\) 的行和列分别分成若干组, 从而把 \(A\) 分成若干个子矩阵, 称为矩阵的分块. 由子矩阵组成的矩阵称为分块矩阵.

Proposition 分块转置时既要转置每个块, 也要交换块的位置. 例如

\[\begin{pmatrix} A_1 & A_2\\ A_3 & A_4 \end{pmatrix}^{\mathsf{T}} = \begin{pmatrix} A_1^{\mathsf{T}} & A_3^{\mathsf{T}}\\ A_2^{\mathsf{T}} & A_4^{\mathsf{T}} \end{pmatrix}.\]

若 \(B=(\beta_1,\beta_2,\cdots,\beta_m)\) 按列分块, 则

\[A_{s\times n}B_{n\times m} = A(\beta_1,\beta_2,\cdots,\beta_m) = (A\beta_1,A\beta_2,\cdots,A\beta_m).\]

Proposition 分块乘法要求左矩阵的列分块与右矩阵的行分块完全匹配. 若 \(A_{ik}\) 为 \(s_i\times n_k\) 块, \(B_{kj}\) 为 \(n_k\times m_j\) 块, 则

\[(AB)_{ij}=\sum_{k=1}^t A_{ik}B_{kj},\]

结果块大小为 \(s_i\times m_j\). 各块乘积的次序不能互换.

Definition 分块对角矩阵记作

\[\operatorname{diag}(A_1,A_2,\cdots,A_s),\]

其中每个对角块都是方阵. 类似地, 分块上三角矩阵和分块下三角矩阵也要求对角块为方阵.

线性方程组法求逆: 设 \(A\) 可逆, \(A^{-1}\) 的列向量为 \(X_1,X_2,\cdots,X_n\), \(I\) 的列向量为 \(\varepsilon_1,\varepsilon_2,\cdots,\varepsilon_n\). 因为

\[AX_j=\varepsilon_j,\]

所以可先解 \(AX=\beta\), 再把解公式中的 \(\beta\) 依次取为 \(\varepsilon_1,\cdots,\varepsilon_n\), 得到 \(A^{-1}\) 的各列.

对矩阵方程:

求 \(AX=B\) 时, 可对增广分块矩阵 \((A,B)\) 作初等行变换. 若 \(A\) 可逆, 则
\[(A,B)\longrightarrow(I,A^{-1}B).\]
求 \(XA=B\) 时, 可转置为
\[A^{\mathsf{T}}X^{\mathsf{T}}=B^{\mathsf{T}},\]
先求 \(X^{\mathsf{T}}\), 再转置得到 \(X\).

Definition 分块矩阵的初等行变换包括:

交换两个块行.
用可逆矩阵左乘某一块行.
把某一块行左乘一个矩阵后加到另一块行.

分块列变换类似, 但作用在块列上.

Definition 将单位矩阵按相同方式分块后, 经过一次分块初等行变换或列变换得到的矩阵称为分块初等矩阵.

Proposition 分块初等矩阵左乘分块矩阵对应分块初等行变换; 右乘分块矩阵对应分块初等列变换. 这些变换由可逆分块矩阵实现, 因而不改变秩.

例如

\[\begin{pmatrix} \mathstrut I & 0\\ P & I \end{pmatrix} \begin{pmatrix} A_1 & A_2\\ A_3 & A_4 \end{pmatrix},\]

得到

\[\begin{pmatrix} A_1 & A_2\\ PA_1+A_3 & PA_2+A_4 \end{pmatrix}.\]

而右乘同一分块初等矩阵给出

\[\begin{pmatrix} A_1 & A_2\\ A_3 & A_4 \end{pmatrix} \begin{pmatrix} I & 0\\ P & I \end{pmatrix} = \begin{pmatrix} A_1+A_2P & A_2\\ A_3+A_4P & A_4 \end{pmatrix}.\]

Proposition 设 \(A\) 为 \(s\times n\) 矩阵, \(B\) 为 \(n\times s\) 矩阵, 则

\[\det(I_s-AB)=\det(I_n-BA).\]

Proof 由分块初等变换可把

\[\begin{pmatrix} I_n & B\\ A & I_s \end{pmatrix}\]

化为分块三角矩阵, 分别得到两边的行列式表示, 因而相等.

Proposition 设

\[M= \begin{pmatrix} A_1 & A_3\\ 0 & A_2 \end{pmatrix},\]

其中 \(A_1,A_2\) 都是方阵. 则 \(M\) 可逆当且仅当 \(A_1,A_2\) 都可逆. 此时

\[M^{-1} = \begin{pmatrix} A_1^{-1} & -A_1^{-1}A_3A_2^{-1}\\ 0 & A_2^{-1} \end{pmatrix}.\]

4.6 Orthogonal Matrices

Definition 实数域上的 \(n\) 阶矩阵 \(A\) 若满足

\[AA^{\mathsf{T}}=I,\]

则称 \(A\) 为正交矩阵. 此时 \(A^{-1}=A^{\mathsf{T}}\), 因而也有 \(A^{\mathsf{T}}A=I\).

Proposition \(A\) 为正交矩阵当且仅当 \(A\) 的行向量组或列向量组构成 \(\mathbb R^n\) 的一组标准正交基.

Proposition 若 \(A,B\) 都是正交矩阵, 则 \(AB\) 也是正交矩阵. 若 \(A\) 是正交矩阵, 则 \(A^{-1}=A^{\mathsf{T}}\) 也是正交矩阵.

Definition 对 \(\alpha=(a_1,\cdots,a_n)\), \(\beta=(b_1,\cdots,b_n)\in\mathbb R^n\), 定义内积

\[(\alpha,\beta)=\alpha\beta^{\mathsf{T}}=\sum_i a_i b_i.\]

若 \((\alpha,\beta)=0\), 则称 \(\alpha,\beta\) 正交. 向量长度定义为

\[|\alpha|=\sqrt{(\alpha,\alpha)}.\]

\(\mathbb R^n\) 配以内积后成为 Euclidean space.

Definition \(n\) 个两两正交的非零向量构成 \(\mathbb R^n\) 的一个正交基. 若每个向量都是单位向量, 则称为标准正交基.

Theorem Schmidt orthogonalization. 设 \(\alpha_1,\alpha_2,\cdots,\alpha_s\) 是 \(\mathbb R^n\) 中线性无关的向量组. 令

\[\begin{aligned} \beta_1 &= \alpha_1,\\ \beta_2 &= \alpha_2-\frac{(\alpha_2,\beta_1)}{(\beta_1,\beta_1)}\beta_1,\\ &\vdots\\ \beta_s &= \alpha_s-\sum_{j=1}^{s-1} \frac{(\alpha_s,\beta_j)}{(\beta_j,\beta_j)}\beta_j. \end{aligned}\]

则 \(\beta_1,\beta_2,\cdots,\beta_s\) 是与 \(\alpha_1,\alpha_2,\cdots,\alpha_s\) 等价的正交向量组. 若进一步令

\[e_i=\frac{\beta_i}{|\beta_i|},\]

则 \(e_1,e_2,\cdots,e_s\) 是标准正交向量组.

5 Similarity, Eigenvalues, and Diagonalization

5.1 Equivalence Relations and Matrix Equivalence

Definition 设 \(S,M\) 是两个集合. 集合

\[S\times M=\{(a,b)\mid a\in S,\ b\in M\}\]

称为 \(S\) 与 \(M\) 的 Cartesian product. 当 \(a_1=a_2\) 且 \(b_1=b_2\) 时, 有 \((a_1,b_1)=(a_2,b_2)\).

Definition 若 \(S\) 非空, 则 \(S\times S\) 的一个子集 \(W\) 称为 \(S\) 上的一个二元关系. 若 \((a,b)\in W\), 则称 \(a,b\) 有关系 \(W\), 记作 \(aWb\) 或 \(a\sim b\).

Definition 若关系 \(\sim\) 对任意 \(a,b,c\in S\) 满足:

reflexivity: \(a\sim a\).
symmetry: \(a\sim b\Rightarrow b\sim a\).
transitivity: \(a\sim b,\ b\sim c\Rightarrow a\sim c\).

则称 \(\sim\) 是 \(S\) 上的等价关系.

Definition 由 \(a\in S\) 确定的等价类为

\[\bar a=\{x\in S\mid x\sim a\}.\]

它满足:

\(x\in\bar a\) 当且仅当 \(x\sim a\).
\(\bar x=\bar y\) 当且仅当 \(x\sim y\).
任取 \(a,b\in S\), 有 \(\bar a=\bar b\) 或 \(\bar a\cap\bar b=\varnothing\).

Definition 若 \(S\) 是若干非空子集 \(S_i\) 的并集, 且不同 \(S_i\) 互不相交, 则称 \(\{S_i\}\) 是 \(S\) 的一个划分, 记作 \(\pi(S)\). 等价关系的全部等价类构成 \(S\) 的一个划分.

Definition 对 \(S\) 上的等价关系 \(\sim\), 所有等价类组成的集合称为商集, 记作 \(S/\sim\).

若某个量或表达式在同一个等价类中取值相同, 则称它为不变量. 若一组不变量能完全决定等价类, 则称它为完全不变量.

Definition 对数域 \(\mathbb K\) 上的 \(s\times n\) 矩阵 \(A,B\), 若 \(A\) 可通过初等行变换和初等列变换变成 \(B\), 则称 \(A\) 与 \(B\) 相抵或矩阵等价, 记作 \(A\sim B\).

相抵是 \(M_{s\times n}(\mathbb K)\) 上的等价关系; 相抵关系下的等价类称为相抵类.

Proposition \(A\sim B\) 当且仅当存在可逆矩阵 \(P,Q\), 使

\[B=PAQ.\]

Theorem 若 \(\operatorname{rank}(A)=r\), 则 \(A\) 相抵于标准形

\[J_r= \begin{pmatrix} I_r & 0 \\ 0 & 0 \end{pmatrix}.\]

即存在可逆矩阵 \(P,Q\), 使

\[PAQ=J_r.\]

因此 \(A\sim B\) 当且仅当 \(\operatorname{rank}(A)=\operatorname{rank}(B)\). 秩是相抵关系的完全不变量.

5.2 Matrix Similarity

Definition \(n\) 阶矩阵 \(A=(a_{ij})\) 的迹定义为

\[\operatorname{tr}(A)=\sum_{i=1}^n a_{ii}.\]

Proposition 若 \(AB\) 与 \(BA\) 有定义且都是方阵, 则

\[\operatorname{tr}(AB)=\operatorname{tr}(BA).\]

Proof 设 \(A\) 为 \(m\times n\) 矩阵, \(B\) 为 \(n\times m\) 矩阵, 则

\[\operatorname{tr}(AB) = \sum_{i=1}^m\sum_{k=1}^n a_{ik}b_{ki} = \sum_{k=1}^n\sum_{i=1}^m b_{ki}a_{ik} = \operatorname{tr}(BA).\]

Definition 设 \(A,B\) 是数域 \(\mathbb K\) 上的 \(n\) 阶矩阵. 若存在 \(n\) 阶可逆矩阵 \(P\), 使

\[B=P^{-1}AP,\]

则称 \(A\) 与 \(B\) 相似, 记作 \(A\sim B\). 相似关系下的等价类称为相似类.

Proposition 若 \(B_1=P^{-1}A_1P\), \(B_2=P^{-1}A_2P\), 则

\[\begin{aligned} B_1+B_2 &= P^{-1}(A_1+A_2)P,\\ B_1B_2 &= P^{-1}(A_1A_2)P,\\ B_1^m &= P^{-1}A_1^mP. \end{aligned}\]

因此相似矩阵的多项式也相似: 若 \(A\sim B\), 则 \(f(A)\sim f(B)\).

Proposition 相似矩阵可逆性相同. 若 \(B=P^{-1}AP\) 且 \(A\) 可逆, 则

\[B^{-1}=P^{-1}A^{-1}P.\]

Proposition 相似不变量包括:

rank.
determinant.
trace.
characteristic polynomial.
eigenvalues and their algebraic multiplicities.

其中 trace 的不变性来自

\[\operatorname{tr}(B) = \operatorname{tr}(P^{-1}AP) = \operatorname{tr}(APP^{-1}) = \operatorname{tr}(A).\]

5.3 Eigenvalues and Eigenvectors

Definition 设 \(A\) 是数域 \(\mathbb K\) 上的 \(n\) 阶矩阵. 若存在非零列向量 \(\alpha\in\mathbb K^n\) 和 \(\lambda_0\in\mathbb K\), 使

\[A\alpha=\lambda_0\alpha,\]

则称 \(\lambda_0\) 为 \(A\) 的特征值, \(\alpha\) 为 \(A\) 属于 \(\lambda_0\) 的一个特征向量. 零向量不是特征向量.

若 \(k\in\mathbb K\), \(k\neq0\), 则 \(k\alpha\) 仍是属于 \(\lambda_0\) 的特征向量.

求特征值和特征向量:

求特征方程
\[\det(\lambda I-A)=0\]
在 \(\mathbb K\) 中的根. 若无根, 则 \(A\) 在 \(\mathbb K\) 上没有特征值.
对每个根 \(\lambda_j\), 求齐次方程组
\[(\lambda_j I-A)X=0\]
的基础解系. 其张成的解空间称为 \(A\) 属于 \(\lambda_j\) 的特征子空间; 其中全部非零向量都是属于 \(\lambda_j\) 的特征向量.

Proposition 相似矩阵有相同的特征多项式, 因而有相同的特征值及其代数重数.

Proof 若 \(B=P^{-1}AP\), 则

\[\begin{aligned} \det(\lambda I-B) &= \det(\lambda I-P^{-1}AP)\\ &= \det(P^{-1}(\lambda I-A)P)\\ &= \det(P^{-1})\det(\lambda I-A)\det(P)\\ &= \det(\lambda I-A). \end{aligned}\]

反过来, 特征多项式相同的 \(n\) 阶矩阵不一定相似.

Proposition 特征多项式

\[p_A(\lambda)=\det(\lambda I-A)\]

是首项系数为 \(1\) 的 \(n\) 次多项式. 其 \(\lambda^{n-1}\) 的系数为 \(-\operatorname{tr}(A)\), 常数项为 \((-1)^n\det(A)\). 更一般地, \(\lambda^{n-k}\) 的系数是 \((-1)^k\) 乘以 \(A\) 的所有 \(k\) 阶主子式之和.

Theorem Cayley-Hamilton theorem. 若 \(p_A(\lambda)=\det(\lambda I-A)\), 则

\[p_A(A)=0.\]

Definition 设 \(\lambda_1\) 是 \(A\) 的一个特征值. 属于 \(\lambda_1\) 的特征子空间的维数称为 \(\lambda_1\) 的几何重数. \(\lambda_1\) 作为特征多项式根的重数称为 \(\lambda_1\) 的代数重数.

Theorem 特征值的几何重数不超过它的代数重数.

Proof 设 \(\lambda_1\) 的特征子空间 \(W_1\) 维数为 \(r\), 取其一组基 \(\alpha_1,\cdots,\alpha_r\), 并扩充为 \(\mathbb K^n\) 的一组基

\[\alpha_1,\cdots,\alpha_r,\beta_1,\cdots,\beta_{n-r}.\]

令

\[P=(\alpha_1,\cdots,\alpha_r,\beta_1,\cdots,\beta_{n-r}).\]

则在该基下

\[P^{-1}AP = \begin{pmatrix} \lambda_1 I_r & B\\ 0 & C \end{pmatrix}.\]

于是

\[\det(\lambda I-A) = \det(\lambda I-P^{-1}AP) = (\lambda-\lambda_1)^r\det(\lambda I_{n-r}-C).\]

所以 \(\lambda_1\) 的代数重数至少为 \(r\).

5.4 Diagonalization Criteria

Definition 若 \(A\) 相似于一个对角矩阵, 则称 \(A\) 可对角化.

Theorem 数域 \(\mathbb K\) 上的 \(n\) 阶矩阵 \(A\) 可对角化的充要条件是 \(A\) 有 \(n\) 个线性无关的特征向量 \(\alpha_1,\alpha_2,\cdots,\alpha_n\).

此时若 \(A\alpha_i=\lambda_i\alpha_i\), \(P=(\alpha_1,\alpha_2,\cdots,\alpha_n)\), 则

\[P^{-1}AP= \operatorname{diag}(\lambda_1,\lambda_2,\cdots,\lambda_n).\]

该对角矩阵称为 \(A\) 的相似标准形; 除主对角元素的排列顺序外唯一.

Proof 若 \(A\sim D=\operatorname{diag}(\lambda_1,\cdots,\lambda_n)\), 则存在可逆矩阵 \(P=(\alpha_1,\cdots,\alpha_n)\), 使 \(P^{-1}AP=D\), 即 \(AP=PD\). 于是

\[(A\alpha_1,\cdots,A\alpha_n) = (\lambda_1\alpha_1,\cdots,\lambda_n\alpha_n),\]

所以 \(\alpha_1,\cdots,\alpha_n\) 是 \(n\) 个线性无关的特征向量. 反之, 若有这样的特征向量组, 令 \(P=(\alpha_1,\cdots,\alpha_n)\), 则 \(P\) 可逆且上式成立.

Theorem 属于不同特征值的特征向量线性无关.

更一般地, 若 \(\lambda_1,\cdots,\lambda_m\) 是 \(A\) 的不同特征值, 且每个特征子空间中分别取线性无关向量组, 则这些向量合并后仍线性无关.

Proof 对不同特征值个数作数学归纳. 两个特征值情形可反证: 若存在非平凡线性关系, 对等式左乘 \(A\), 再与原式乘以某一特征值后相减, 可减少一个特征值对应的向量组, 与归纳假设矛盾.

Corollary \(A\) 可对角化当且仅当 \(A\) 的属于不同特征值的特征子空间维数之和为 \(n\).

特别地, 若 \(A\) 有 \(n\) 个不同特征值, 则 \(A\) 可对角化.

Theorem \(A\) 可对角化的充要条件还可以表述为:

\(p_A(\lambda)\) 在 \(\mathbb K\) 上完全分裂.
\(A\) 的每个特征值的几何重数等于代数重数.

Proof 若 \(A\) 可对角化, 则

\[A\sim \operatorname{diag}( \underbrace{\lambda_1,\cdots,\lambda_1}_{r_1}, \cdots, \underbrace{\lambda_m,\cdots,\lambda_m}_{r_m} ),\]

其中 \(r_j\) 是 \(\lambda_j\) 的特征子空间维数. 相似矩阵有相同特征多项式, 故

\[p_A(\lambda) = (\lambda-\lambda_1)^{r_1}\cdots(\lambda-\lambda_m)^{r_m}.\]

所以每个特征值的代数重数等于几何重数. 反之, 若特征多项式完全分裂且每个特征值的几何重数等于代数重数, 则各特征子空间维数之和为 \(n\), 因而 \(A\) 可对角化.

5.5 Diagonalization of Real Symmetric Matrices

Definition 若存在 \(n\) 阶正交矩阵 \(T\), 使

\[T^{-1}AT=B,\]

则称实矩阵 \(A\) 正交相似于 \(B\). 正交相似是 \(M_n(\mathbb R)\) 上的等价关系.

Theorem 实对称矩阵的特征多项式的每一个复根都是实数.

Proof 设 \(A=A^{\mathsf{T}}\) 是实对称矩阵, \(\lambda_0\in\mathbb C\) 是特征根, 对应非零复向量 \(\alpha\) 满足

\[A\alpha=\lambda_0\alpha.\]

取共轭转置得

\[\alpha^*A=\overline{\lambda_0}\alpha^*.\]

于是

\[\alpha^*A\alpha = \lambda_0\alpha^*\alpha = \overline{\lambda_0}\alpha^*\alpha.\]

因 \(\alpha^*\alpha>0\), 故 \(\lambda_0=\overline{\lambda_0}\), 即 \(\lambda_0\) 为实数.

Theorem 实对称矩阵 \(A\) 属于不同特征值的特征向量正交.

Proof 若 \(A\alpha_1=\lambda_1\alpha_1\), \(A\alpha_2=\lambda_2\alpha_2\), 且 \(\lambda_1\neq\lambda_2\), 则

\[\lambda_1(\alpha_1,\alpha_2) =(A\alpha_1,\alpha_2) =(\alpha_1,A\alpha_2) =\lambda_2(\alpha_1,\alpha_2).\]

因此 \((\lambda_1-\lambda_2)(\alpha_1,\alpha_2)=0\), 所以 \((\alpha_1,\alpha_2)=0\).

Theorem 每个实对称矩阵都可正交对角化. 即存在正交矩阵 \(T\), 使

\[T^{-1}AT= \operatorname{diag}(\lambda_1,\lambda_2,\cdots,\lambda_n).\]

Proof 对矩阵阶数作归纳. 取 \(A\) 的一个实特征值 \(\lambda_1\) 及单位特征向量 \(\eta_1\), 将 \(\eta_1\) 扩充为 \(\mathbb R^n\) 的标准正交基 \(\eta_1,\eta_2,\cdots,\eta_n\). 令

\[T_1=(\eta_1,\eta_2,\cdots,\eta_n).\]

则

\[T_1^{-1}AT_1= \begin{pmatrix} \lambda_1 & 0\\ 0 & B \end{pmatrix},\]

其中 \(B\) 仍为实对称矩阵. 由归纳假设, 存在正交矩阵 \(T_2\) 使 \(T_2^{-1}BT_2\) 为对角矩阵. 令

\[T=T_1 \begin{pmatrix} 1 & 0\\ 0 & T_2 \end{pmatrix},\]

则 \(T\) 正交且 \(T^{-1}AT\) 为对角矩阵.

实对称矩阵对角化步骤:

求特征多项式 \(\det(\lambda I-A)\) 的全部根 \(\lambda_1,\lambda_2,\cdots,\lambda_m\), 即 \(A\) 的全部特征值.
对每个特征值 \(\lambda_j\), 求
\[(\lambda_j I-A)X=0\]
的一个基础解系, 再在该特征子空间内 Schmidt 正交化并单位化, 得到标准正交特征向量组.
将所有标准正交特征向量按列排成
\[T=(\eta_{11},\cdots,\eta_{1r_1},\cdots,\eta_{m1},\cdots,\eta_{mr_m}).\]
则
\[T^{-1}AT= \operatorname{diag}( \underbrace{\lambda_1,\cdots,\lambda_1}_{r_1}, \cdots, \underbrace{\lambda_m,\cdots,\lambda_m}_{r_m} ).\]

Proposition 若 \(n\) 阶实矩阵 \(A\) 正交相似于对角矩阵 \(D\), 则 \(A\) 一定是对称矩阵.

Proof 若 \(T\) 正交且 \(T^{-1}AT=D\), 则 \(A=TDT^{-1}=TDT^{\mathsf{T}}\). 因 \(D^{\mathsf{T}}=D\), 有

\[A^{\mathsf{T}} =(TDT^{\mathsf{T}})^{\mathsf{T}} =TD^{\mathsf{T}}T^{\mathsf{T}} =TDT^{\mathsf{T}} =A.\]

Proposition 两个 \(n\) 阶实对称矩阵正交相似的充要条件是它们相似.

Proof 必要性显然. 充分性: 若 \(A\sim B\), 则 \(A,B\) 有相同的特征值及其代数重数. 实对称矩阵都正交相似于按相同重数排列的对角矩阵, 因而 \(A\) 与 \(B\) 正交相似.

6 Quadratic Forms and Positive Definiteness

6.1 Quadratic Forms and Congruence

Definition \(n\) 元二次型是形如

\[f(x_1,x_2,\cdots,x_n) = \sum_{i=1}^n\sum_{j=1}^n a_{ij}x_i x_j = X^{\mathsf{T}}AX,\]

的齐次二次多项式. 这里

\[X=(x_1,x_2,\cdots,x_n)^{\mathsf{T}}, \qquad A=(a_{ij}),\qquad a_{ij}=a_{ji}.\]

Definition 设 \(Y=(y_1,y_2,\cdots,y_n)^{\mathsf{T}}\), \(C\) 为 \(n\) 阶可逆矩阵. 变量替换

\[X=CY\]

称为非退化线性替换. 在该替换下,

\[X^{\mathsf{T}}AX = Y^{\mathsf{T}}(C^{\mathsf{T}}AC)Y.\]

Definition 若两个二次型可由非退化线性替换互相得到, 则称它们等价. 若存在可逆矩阵 \(C\), 使

\[B=C^{\mathsf{T}}AC,\]

则称矩阵 \(A\) 与 \(B\) 合同, 记作 \(A\simeq B\).

等价二次型对应合同矩阵. 合同是 \(M_n(\mathbb K)\) 上的等价关系; 合同关系下的等价类称为合同类.

Definition 若 \(A\) 合同于对角矩阵 \(\Lambda\), 则称 \(\Lambda\) 为 \(A\) 的一个合同标准形. 对应二次型只含平方项, 不含交叉项.

Proposition 数域 \(\mathbb K\) 上两个 \(n\) 元二次型 \(X^{\mathsf{T}}AX\) 与 \(Y^{\mathsf{T}}BY\) 等价当且仅当 \(A\simeq B\).

Proposition 对 \(n\) 元实二次型 \(X^{\mathsf{T}}AX\), 若 \(A\) 为实对称矩阵, 则存在正交矩阵 \(T\), 使

\[T^{\mathsf{T}}AT=T^{-1}AT = \operatorname{diag}(\lambda_1,\lambda_2,\cdots,\lambda_n),\]

其中 \(\lambda_i\) 是 \(A\) 的特征值. 此时变量替换 \(X=TY\) 称为正交替换.

Theorem 数域 \(\mathbb K\) 上任一对称矩阵都合同于一个对角矩阵. 因而任一 \(n\) 元二次型都可化为只含平方项的标准形.

Proof 可对阶数作归纳, 或用成对初等行变换和列变换把对称矩阵化为对角形式. 每一次对 \(A\) 作行变换时, 同时作对应的列变换, 保持变换为合同变换.

用成对初等行/列变换求标准形: 对 \(A\) 作成对的初等行变换和列变换, 同时对 \(I\) 只作其中对应的初等列变换. 若最终把 \(A\) 化为对角矩阵 \(\Lambda\), 并把 \(I\) 变为 \(C\), 则

\[C^{\mathsf{T}}AC=\Lambda.\]

Proposition 数域 \(\mathbb K\) 上 \(n\) 元二次型 \(X^{\mathsf{T}}AX\) 的任一标准形中, 系数非零的平方项个数等于 \(\operatorname{rank}(A)\).

Proposition 反对称矩阵 \(A\) 合同于若干个

\[\begin{pmatrix} 0 & 1\\ -1 & 0 \end{pmatrix}\]

块与若干个零块组成的分块对角矩阵.

Proof 在数域 \(\mathbb K\subseteq\mathbb C\) 上定义交替双线性型 \(b(x,y)=x^{\mathsf T}Ay\). 若 \(A\neq0\), 取 \(u,v\) 使 \(b(u,v)=1\). 两者线性无关, 且该二维子空间上的矩阵为上述非退化块. 对任意 \(w\), 令

\[w_\perp=w+b(v,w)u-b(u,w)v.\]

直接计算得 \(b(u,w_\perp)=b(v,w_\perp)=0\). 因而空间分解为 \(\langle u,v\rangle\) 与其关于 \(b\) 的正交补的直和. 在补空间上重复这一过程, 直到剩余双线性型为零, 即得分块形式. 因此反对称矩阵的秩总为偶数.

6.2 Standard Form and Inertia Law

Theorem 任意实对称矩阵都合同于对角矩阵. 因此任意实二次型都可化为只含平方项的标准形.

Definition 对实二次型 \(X^{\mathsf{T}}AX\), 若其标准形写作

\[d_1y_1^2+\cdots+d_p y_p^2 -d_{p+1}y_{p+1}^2-\cdots-d_r y_r^2, \qquad d_i>0,\]

则作非退化线性替换

\[y_i=\frac{z_i}{\sqrt{d_i}}\quad (i=1,2,\cdots,r), \qquad y_j=z_j\quad (j=r+1,\cdots,n),\]

可化为规范形

\[z_1^2+\cdots+z_p^2 -z_{p+1}^2-\cdots-z_r^2.\]

其中 \(r=\operatorname{rank}(A)\). \(p\) 称为正惯性指数, \(r-p\) 称为负惯性指数, \(2p-r\) 称为符号差.

Theorem 惯性定理: \(n\) 元实二次型 \(X^{\mathsf{T}}AX\) 的规范形唯一.

Proof 设 \(\operatorname{rank}(A)=r\). 若 \(X=CY\) 与 \(X=BZ\) 是两组非退化线性替换, 并得到两个规范形

\[\begin{aligned} X^{\mathsf{T}}AX &=y_1^2+\cdots+y_p^2-y_{p+1}^2-\cdots-y_r^2,\\ X^{\mathsf{T}}AX &=z_1^2+\cdots+z_q^2-z_{q+1}^2-\cdots-z_r^2, \end{aligned}\]

则 \(Z=B^{-1}CY=GY\), 其中 \(G=(g_{ij})\). 反设 \(p>q\), 取

\[Y=(k_1,\cdots,k_p,0,\cdots,0)^{\mathsf{T}},\]

并要求 \(k_1,\cdots,k_p\) 满足

\[\begin{cases} g_{11}k_1+\cdots+g_{1p}k_p=0,\\ g_{21}k_1+\cdots+g_{2p}k_p=0,\\ \qquad\vdots\\ g_{q1}k_1+\cdots+g_{qp}k_p=0. \end{cases}\]

这是 \(q\) 个方程、\(p\) 个未知量的齐次线性方程组. 因 \(q\lt p\), 存在不全为零的解, 从而可使 \(z_1=\cdots=z_q=0\).

此时:

\(Z\) 变量的规范形小于等于 \(0\);
\(Y\) 变量的规范形为 \(k_1^2+\cdots+k_p^2>0\);

与两者相等矛盾. 因此 \(p\le q\). 同理交换两规范形可得 \(p\ge q\), 故 \(p=q\).

Corollary 等价的实二次型有相同的规范形, 因而有相同的秩和正惯性指数.

Corollary 任一实对称矩阵 \(A\) 合同于

\[\operatorname{diag}( \underbrace{1,\cdots,1}_{p}, \underbrace{-1,\cdots,-1}_{r-p}, \underbrace{0,\cdots,0}_{n-r} ),\]

其中正负元素数量分别由正、负惯性指数决定. 合同的实对称矩阵有相同的秩和正惯性指数.

6.3 Positive Definite Matrices

Definition 设 \(A\) 为 \(n\) 阶实对称矩阵. 若对任意非零向量 \(x \in \mathbb R^n\) 都有

\[x^{\mathsf{T}}Ax>0,\]

则称 \(n\) 元二次型 \(X^{\mathsf{T}}AX\) 为正定二次型, 同时称 \(A\) 为正定矩阵.

Theorem \(n\) 元实二次型 \(X^{\mathsf{T}}AX\) 正定当且仅当其正惯性指数 \(p=n\). 等价地:

\(X^{\mathsf{T}}AX\) 的规范形为 \(z_1^2+\cdots+z_n^2\).
任一标准形中的系数均大于 \(0\).
\(A\simeq I_n\), 即 \(A\) 的合同规范形为 \(I_n\).
\(A\) 的合同标准形的主对角元素均大于 \(0\).
对实对称矩阵 \(A\), \(A\) 的全部特征值均大于 \(0\).

Corollary 与正定矩阵合同的实对称矩阵也是正定矩阵.

Corollary 与正定二次型等价的实二次型也是正定的, 因为非退化线性替换不改变正定性.

Corollary 正定矩阵的行列式大于 \(0\); 逆命题不成立.

Proof 若 \(A\) 正定, 则 \(A\simeq I_n\), 即存在实可逆矩阵 \(C\) 使

\[A=C^{\mathsf{T}}I_n C=C^{\mathsf{T}}C.\]

因此

\[\det(A)=\det(C)^2>0.\]

Definition \(n\) 阶矩阵 \(A\) 的 \(k\) 阶主子式是行标与列标相同的子式, 记为

\[A_{(i_1,i_2,\cdots,i_k)}^{(i_1,i_2,\cdots,i_k)}.\]

特别地, \(A_{(1,2,\cdots,k)}^{(1,2,\cdots,k)}\) 称为 \(A\) 的 \(k\) 阶顺序主子式.

Theorem 正定的充要条件: 实对称矩阵 \(A\) 正定当且仅当 \(A\) 的所有顺序主子式均大于 \(0\).

Definition 实二次型 \(X^{\mathsf{T}}AX\) 或实对称矩阵 \(A\) 还可按符号性分类:

半正定: 对任意 \(\alpha\in\mathbb R^n\), 有 \(\alpha^{\mathsf{T}}A\alpha\ge 0\).
负定: 对任意非零 \(\alpha\in\mathbb R^n\), 有 \(\alpha^{\mathsf{T}}A\alpha\lt 0\).
半负定: 对任意 \(\alpha\in\mathbb R^n\), 有 \(\alpha^{\mathsf{T}}A\alpha\le 0\).
不定: 既不是半正定, 也不是半负定.

7 Abstract Vector Spaces

7.1 Structure of a Vector Space

Definition 集合 \(V\) 对数域 \(\mathbb K\) 上的加法与数乘封闭. 若对任意 \(\alpha,\beta,\gamma\in V\) 与 \(k,l\in\mathbb K\), 满足

\(\alpha+\beta=\beta+\alpha\);
\((\alpha+\beta)+\gamma=\alpha+(\beta+\gamma)\);
存在零元素 \(0\), 使 \(\alpha+0=\alpha\);
对每个 \(\alpha\), 存在负元素 \(\beta\), 使 \(\alpha+\beta=0\);
\(1\alpha=\alpha\);
\((kl)\alpha=k(l\alpha)\);
\((k+l)\alpha=k\alpha+l\alpha\);
\(k(\alpha+\beta)=k\alpha+k\beta\),

则称 \(V\) 是 \(\mathbb K\) 上的线性空间.

Proposition 线性空间中的零元素唯一, 每个向量的负元素唯一. 并且

\[0\alpha=0,\qquad k0=0,\qquad (-1)\alpha=-\alpha.\]

若 \(k\alpha=0\), 则 \(k=0\) 或 \(\alpha=0\).

Remark \(K^n\) 中的线性表出、线性相关与线性无关、向量组等价、极大线性无关组、秩及其性质, 都可推广到一般线性空间. 含有零向量的向量组线性相关.

Definition \(V\) 中的线性无关向量集 \(S\) 若满足: \(V\) 中任一向量都可由 \(S\) 中有限个向量线性表出, 则称 \(S\) 是 \(V\) 的一组基.

Example

只含零元素的线性空间以空集为基.
\(M_{s\times n}(\mathbb K)\) 的一组基是 \[\{E_{11},E_{12},\cdots,E_{1n},\cdots,E_{s1},E_{s2},\cdots,E_{sn}\}.\]
\(\mathbb K[x]\) 的一组基是 \[\{1,x,x^2,\cdots,x^n,\cdots\}.\]

Theorem 若 \(V\) 是有限维线性空间, 则 \(V\) 的任意两组基所含向量个数相同. 该个数称为 \(V\) 的维数, 记作 \(\dim_{\mathbb K}V\), 简记为 \(\dim V\).

Definition 若 \((\alpha_1,\alpha_2,\cdots,\alpha_n)\) 与 \((\beta_1,\beta_2,\cdots,\beta_n)\) 都是 \(V\) 的基, 且

\[(\beta_1,\beta_2,\cdots,\beta_n) = (\alpha_1,\alpha_2,\cdots,\alpha_n) \begin{pmatrix} a_{11} & a_{12} & \cdots & a_{1n}\\ a_{21} & a_{22} & \cdots & a_{2n}\\ \vdots & \vdots & & \vdots\\ a_{n1} & a_{n2} & \cdots & a_{nn} \end{pmatrix} = (\alpha_1,\alpha_2,\cdots,\alpha_n)A,\]

则称 \(A\) 为从基 \(\alpha_1,\alpha_2,\cdots,\alpha_n\) 到基 \(\beta_1,\beta_2,\cdots,\beta_n\) 的过渡矩阵.

每个向量 \(\alpha\in V\) 可唯一地由一组基线性表出; 对应的有序系数数组称为 \(\alpha\) 在该基下的坐标.

Proposition 设 \(\alpha_1,\alpha_2,\cdots,\alpha_n\) 是 \(V\) 的一组基, 且

\[(\beta_1,\beta_2,\cdots,\beta_n) = (\alpha_1,\alpha_2,\cdots,\alpha_n)A.\]

则 \(\beta_1,\beta_2,\cdots,\beta_n\) 是 \(V\) 的一组基当且仅当 \(A\) 是可逆矩阵.

Proof 因 \(\alpha_1,\cdots,\alpha_n\) 是 \(V\) 的基, \(\beta_1,\cdots,\beta_n\) 是 \(V\) 的基当且仅当它们线性无关. 对列向量 \(Z=(k_1,k_2,\cdots,k_n)^{\mathsf{T}}\),

\[k_1\beta_1+k_2\beta_2+\cdots+k_n\beta_n = (\alpha_1,\alpha_2,\cdots,\alpha_n)AZ.\]

由于 \(\alpha_1,\cdots,\alpha_n\) 线性无关, 上式为 \(0\) 当且仅当 \(AZ=0\). 因此 \(\beta_1,\cdots,\beta_n\) 线性无关当且仅当齐次线性方程组 \(AZ=0\) 只有零解, 即 \(\det(A)\ne0\), 也即 \(A\) 可逆.

7.2 Subspaces, Sums, and Direct Sums

Definition 数域 \(\mathbb K\) 上线性空间 \(V\) 的非空子集 \(U\) 若对 \(V\) 的加法与数乘也构成 \(\mathbb K\) 上的线性空间, 则称 \(U\) 是 \(V\) 的线性子空间.

Theorem 非空子集 \(U\subseteq V\) 是 \(V\) 的子空间当且仅当 \(U\) 对 \(V\) 中的加法与数乘封闭.

Proposition 若 \(V\) 有限维且 \(U\) 是 \(V\) 的子空间, 则:

\(\dim U\le \dim V\).
若 \(\dim U=\dim V\), 则 \(U=V\).
\(U\) 的一组基可以扩充成 \(V\) 的一组基.

Definition 由 \(\alpha_1,\alpha_2,\cdots,\alpha_s\) 线性组合生成的子空间记为

\[\langle \alpha_1,\alpha_2,\cdots,\alpha_s\rangle.\]

向量组的极大线性无关组是其生成子空间的一组基.

Theorem 若 \(V_1,V_2\) 都是 \(V\) 的子空间, 则 \(V_1\cap V_2\) 也是 \(V\) 的子空间. 子空间的交满足交换律与结合律:

\[V_1\cap V_2=V_2\cap V_1,\qquad (V_1\cap V_2)\cap V_3=V_1\cap(V_2\cap V_3).\]

多个子空间的交记为 \(\bigcap_{i=1}^s V_i\).

Definition \(V_1\) 与 \(V_2\) 的和定义为

\[V_1+V_2 = \{\alpha_1+\alpha_2\mid \alpha_1\in V_1,\ \alpha_2\in V_2\}.\]

这是 \(V\) 的一个子空间, 且满足

\[V_1+V_2=V_2+V_1,\qquad (V_1+V_2)+V_3=V_1+(V_2+V_3).\]

若 \(V_1=\langle \alpha_1,\cdots,\alpha_s\rangle\), \(V_2=\langle \beta_1,\cdots,\beta_r\rangle\), 则

\[V_1+V_2 = \langle \alpha_1,\cdots,\alpha_s,\beta_1,\cdots,\beta_r\rangle.\]

Theorem 对有限维子空间, 有维数公式:

\[\dim V_1+\dim V_2 = \dim(V_1+V_2)+\dim(V_1\cap V_2).\]

等价地,

\[\dim(V_1+V_2) = \dim V_1+\dim V_2-\dim(V_1\cap V_2).\]

Proof 取 \(V_1\cap V_2\) 的一组基

\[\alpha_1,\alpha_2,\cdots,\alpha_m,\]

并分别扩充为 \(V_1,V_2\) 的基:

\[\alpha_1,\cdots,\alpha_m,\beta_1,\cdots,\beta_{n_1-m},\]\[\alpha_1,\cdots,\alpha_m,\gamma_1,\cdots,\gamma_{n_2-m}.\]

则 \(V_1+V_2\) 由

\[\alpha_1,\cdots,\alpha_m,\beta_1,\cdots,\beta_{n_1-m},\gamma_1,\cdots,\gamma_{n_2-m}\]

张成. 只需证明该向量组线性无关. 若

\[\sum_{i=1}^m c_i\alpha_i +\sum_j d_j\beta_j +\sum_l e_l\gamma_l =0,\]

则

\[\sum_{i=1}^m c_i\alpha_i+\sum_j d_j\beta_j = -\sum_l e_l\gamma_l \in V_1\cap V_2.\]

右侧属于 \(V_1\cap V_2\), 因而可写为 \(\sum_i h_i\alpha_i\). 于是

\[\sum_{i=1}^m(c_i-h_i)\alpha_i+\sum_j d_j\beta_j=0.\]

由 \(V_1\) 的基的线性无关性得 \(d_j=0\) 且 \(c_i=h_i\). 同时

\[\sum_i h_i\alpha_i+\sum_l e_l\gamma_l=0.\]

由 \(V_2\) 的基的线性无关性得 \(h_i=0\) 且 \(e_l=0\), 于是 \(c_i=0\). 因此上述向量组是 \(V_1+V_2\) 的一组基, 维数公式成立.

Corollary 若 \(\dim(V_1+V_2)=\dim V_1+\dim V_2\), 则 \(V_1\cap V_2=\{0\}\).

Definition 若 \(V_1+V_2\) 中每个向量都可唯一表示为

\[\alpha=\alpha_1+\alpha_2,\qquad \alpha_1\in V_1,\quad \alpha_2\in V_2,\]

则称 \(V_1+V_2\) 是直和, 记作 \(V_1\oplus V_2\).

Theorem 设 \(V_1,V_2\) 是 \(V\) 的有限维子空间. 下列命题等价:

\(V_1+V_2\) 是直和.
\(V_1+V_2\) 中零向量的表法唯一.
\(V_1\cap V_2=\{0\}\).
\(\dim(V_1+V_2)=\dim V_1+\dim V_2\).
\(V_1\) 的一组基与 \(V_2\) 的一组基合起来是 \(V_1+V_2\) 的一组基.

Definition 若 \(V_1,V_2\) 是 \(V\) 的子空间, 且

\[V_1+V_2=V,\qquad V_1+V_2\text{ 是直和},\]

则记作 \(V=V_1\oplus V_2\), 并称 \(V_1\) 是 \(V_2\) 的补空间.

Definition 设 \(V_1,V_2,\cdots,V_s\) 都是 \(V\) 的子空间. 若 \(V_1+V_2+\cdots+V_s\) 中每个向量 \(\alpha\) 都可唯一表示为

\[\alpha=\alpha_1+\alpha_2+\cdots+\alpha_s, \qquad \alpha_i\in V_i\quad (i=1,2,\cdots,s),\]

则称该和为直和, 记作

\[V_1\oplus V_2\oplus\cdots\oplus V_s = \bigoplus_{i=1}^s V_i.\]

Theorem 设 \(V_1,\cdots,V_s\) 是 \(V\) 的有限维子空间. 下列命题等价:

\(V_1+V_2+\cdots+V_s\) 是直和.
\(V_1+V_2+\cdots+V_s\) 中零向量的表法唯一.
\(V_i\cap\sum_{j\ne i}V_j=\{0\}\), \(i=1,2,\cdots,s\).
\(\dim(V_1+V_2+\cdots+V_s)=\dim V_1+\dim V_2+\cdots+\dim V_s\).
各 \(V_i\) 的一组基合起来是 \(V_1+V_2+\cdots+V_s\) 的一组基.

7.3 Isomorphism

Definition 设 \(V,V'\) 都是数域 \(\mathbb K\) 上的线性空间. 若 \(V\) 与 \(V'\) 的元素之间存在一一对应 \(\sigma:V\to V'\), 且对任意 \(\alpha,\beta\in V\), \(k\in\mathbb K\), 有

\[\sigma(\alpha+\beta)=\sigma(\alpha)+\sigma(\beta), \qquad \sigma(k\alpha)=k\sigma(\alpha),\]

则称 \(\sigma\) 是 \(V\) 到 \(V'\) 的同构映射, 简称同构. 若存在这样的同构映射, 则称 \(V\) 与 \(V'\) 同构, 记作 \(V\cong V'\).

Proposition 同构映射满足 \(\sigma(0)=0'\).

Proposition \(V\) 中向量组 \(\alpha_1,\alpha_2,\cdots,\alpha_s\) 线性相关当且仅当 \(V'\) 中向量组 \(\sigma(\alpha_1),\sigma(\alpha_2),\cdots,\sigma(\alpha_s)\) 线性相关.

Corollary 若 \(\alpha_1,\alpha_2,\cdots,\alpha_n\) 是 \(V\) 的一组基, 则 \(\sigma(\alpha_1),\sigma(\alpha_2),\cdots,\sigma(\alpha_n)\) 是 \(V'\) 的一组基.

Theorem 数域 \(\mathbb K\) 上两个有限维线性空间同构的充分必要条件是它们维数相同.

Proof 必要性由基在同构下对应为基立即得到. 充分性: 设 \(\dim V=\dim V'=n\). 在 \(V,V'\) 中分别取基

\[\alpha_1,\alpha_2,\cdots,\alpha_n, \qquad \gamma_1,\gamma_2,\cdots,\gamma_n.\]

对任意 \(\alpha=\sum_{i=1}^n a_i\alpha_i\in V\), 定义

\[\sigma(\alpha)=\sum_{i=1}^n a_i\gamma_i.\]

坐标表示唯一, 所以 \(\sigma\) 是一一对应. 若

\[\alpha=\sum_{i=1}^n a_i\alpha_i,\qquad \beta=\sum_{i=1}^n b_i\alpha_i,\]

则

\[\begin{aligned} \sigma(\alpha+\beta) &=\sigma\left(\sum_{i=1}^n(a_i+b_i)\alpha_i\right)\\ &=\sum_{i=1}^n(a_i+b_i)\gamma_i\\ &=\sum_{i=1}^n a_i\gamma_i+\sum_{i=1}^n b_i\gamma_i\\ &=\sigma(\alpha)+\sigma(\beta), \end{aligned}\]

且

\[\sigma(k\alpha) = \sigma\left(\sum_{i=1}^n(ka_i)\alpha_i\right) = \sum_{i=1}^n(ka_i)\gamma_i = k\sigma(\alpha).\]

因此 \(\sigma\) 是同构, 从而 \(V\cong V'\).

Corollary 数域 \(\mathbb K\) 上任一 \(n\) 维线性空间 \(V\) 都与 \(\mathbb K^n\) 同构.

8 Linear Maps

8.0 Mapping

Definition 设 \(S,S'\) 是两个集合. 若存在法则 \(f\), 使得对任意 \(a\in S\), 都有 \(S'\) 中唯一元素 \(b\) 与之对应, 则称 \(f\) 是 \(S\) 到 \(S'\) 的映射, 记作

\[\begin{aligned} f:S&\to S',\\ a&\mapsto b. \end{aligned}\]

元素 \(b\) 称为 \(a\) 在 \(f\) 下的像, \(a\) 称为 \(b\) 的一个原像. 记 \(b=f(a)\), 也可写作 \(fa\).

Definition \(S\) 称为 \(f\) 的定义域, \(S'\) 称为 \(f\) 的陪域. \(S\) 中所有元素的像组成的集合称为 \(f\) 的值域或像, 记作

\[f(S)=\{f(a)\mid a\in S\},\qquad f(S)\subseteq S'.\]

若 \(f(S)=S'\), 则称 \(f\) 为满射. 若 \(S\) 中不同元素的像也不同, 则称 \(f\) 为单射. 既是单射又是满射的映射称为双射.

Definition 集合 \(S\) 到自身的映射称为 \(S\) 上的变换. 若每个元素都映射到自身, 则称为恒等映射, 记作 \(1_S\). 集合 \(S\) 到数集的映射通常称为 \(S\) 上的函数.

Definition 对相继映射 \(g:S\to S'\) 与 \(f:S'\to S''\), 它们的复合定义为

\[(fg)(a)=f(g(a)),\qquad a\in S.\]

Definition 对映射 \(f:S\to S'\), 若存在 \(g:S'\to S\), 使

\[fg=1_{S'},\qquad gf=1_S,\]

则称 \(f\) 可逆, 并称 \(g\) 为 \(f\) 的逆映射, 记作 \(f^{-1}\).

Theorem 映射 \(f\) 可逆的充分必要条件是 \(f\) 为双射.

8.1 Linear Maps and Operations

Definition 设 \(V,V'\) 是数域 \(\mathbb K\) 上的线性空间. 映射 \(\mathcal A:V\to V'\) 若对任意 \(\alpha,\beta\in V\), \(k\in\mathbb K\), 满足

\[\mathcal A(\alpha+\beta)=\mathcal A(\alpha)+\mathcal A(\beta), \qquad \mathcal A(k\alpha)=k\mathcal A(\alpha),\]

则称 \(\mathcal A\) 为 \(V\) 到 \(V'\) 的线性映射.

Definition \(V\) 到自身的线性映射称为 \(V\) 上的线性变换. \(V\) 到 \(\mathbb K\) 的线性映射称为 \(V\) 上的线性函数.

Example 特殊线性映射包括零映射 \(\mathbf{0}\), 恒等变换 \(1_V\), 以及数乘变换 \(\alpha\mapsto k\alpha\).

Definition 映射 \(\sigma:V\to V'\) 是同构映射当且仅当 \(\sigma\) 是可逆线性映射.

Theorem 若 \(\alpha_1,\alpha_2,\cdots,\alpha_s\) 是 \(V\) 中线性相关的向量组, 则

\[\mathcal A(\alpha_1),\mathcal A(\alpha_2),\cdots,\mathcal A(\alpha_s)\]

是 \(V'\) 中线性相关的向量组. 反之不一定成立: 线性映射可能把线性无关向量组变成线性相关向量组.

Theorem 若 \(V\) 有限维, \(\alpha_1,\alpha_2,\cdots,\alpha_n\) 是 \(V\) 的一组基, 且

\[\alpha=a_1\alpha_1+a_2\alpha_2+\cdots+a_n\alpha_n,\]

则

\[\mathcal A(\alpha) =a_1\mathcal A(\alpha_1) +a_2\mathcal A(\alpha_2) +\cdots +a_n\mathcal A(\alpha_n).\]

因此有限维空间上的线性映射由一组基的像唯一决定.

Proposition 两个有限维线性空间 \(V,V'\) 之间存在可逆线性映射的充分必要条件是 \(\dim V=\dim V'\).

Definition 记数域 \(\mathbb K\) 上 \(V\) 到 \(V'\) 的所有线性映射组成的集合为

\[\operatorname{Hom}(V,V').\]

若线性映射的复合有定义, 则对 \(k\in\mathbb K\) 有

\[k(\mathcal A\mathcal B) =(k\mathcal A)\mathcal B =\mathcal A(k\mathcal B).\]

对 \(V\) 上的线性变换 \(\mathcal A\), 定义 \(\mathcal A^0=\mathcal I\). 若 \(\mathcal A\) 可逆, 则对 \(m\in\mathbb N\) 定义

\[\mathcal A^{-m}=(\mathcal A^{-1})^m.\]

若 \(f(x)=a_0+a_1x+\cdots+a_mx^m\), 则 \(\mathcal A\) 的多项式定义为

\[f(\mathcal A) = a_0\mathcal I+a_1\mathcal A+\cdots+a_m\mathcal A^m.\]

8.2 Matrix Representation of Linear Maps

Definition 设 \(V\) 是数域 \(\mathbb K\) 上的 \(n\) 维线性空间, \(\mathcal A\in\operatorname{Hom}(V,V)\). 取 \(V\) 的一组基 \(\alpha_1,\alpha_2,\cdots,\alpha_n\). 若

\[\begin{cases} \mathcal A\alpha_1=a_{11}\alpha_1+a_{21}\alpha_2+\cdots+a_{n1}\alpha_n,\\ \mathcal A\alpha_2=a_{12}\alpha_1+a_{22}\alpha_2+\cdots+a_{n2}\alpha_n,\\ \qquad\vdots\\ \mathcal A\alpha_n=a_{1n}\alpha_1+a_{2n}\alpha_2+\cdots+a_{nn}\alpha_n, \end{cases}\]

则

\[\mathcal A(\alpha_1,\alpha_2,\cdots,\alpha_n) = (\alpha_1,\alpha_2,\cdots,\alpha_n) \begin{pmatrix} a_{11} & a_{12} & \cdots & a_{1n}\\ a_{21} & a_{22} & \cdots & a_{2n}\\ \vdots & \vdots & & \vdots\\ a_{n1} & a_{n2} & \cdots & a_{nn} \end{pmatrix}.\]

矩阵 \(A=(a_{ij})\) 称为线性变换 \(\mathcal A\) 在基 \(\alpha_1,\alpha_2,\cdots,\alpha_n\) 下的矩阵, 它由 \(\mathcal A\) 唯一决定. 矩阵的第 \(j\) 列是 \(\mathcal A\alpha_j\) 在该基下的坐标.

Definition 更一般地, 对 \(\mathcal A\in\operatorname{Hom}(V,V')\), 若 \(V\) 的基为 \(\alpha_1,\cdots,\alpha_n\), \(V'\) 的基为 \(\eta_1,\cdots,\eta_s\), 且

\[\mathcal A(\alpha_1,\alpha_2,\cdots,\alpha_n) = (\eta_1,\eta_2,\cdots,\eta_s)A,\]

则 \(A\in M_{s\times n}(\mathbb K)\) 称为 \(\mathcal A\) 在这两组基下的矩阵.

Proposition 设 \(\dim V=n\), \(\dim V'=s\). 固定 \(V,V'\) 的基后, 映射

\[\begin{aligned} \sigma:\operatorname{Hom}(V,V')&\to M_{s\times n}(\mathbb K),\\ \mathcal A&\mapsto A \end{aligned}\]

是线性同构. 因而

\[\operatorname{Hom}(V,V')\cong M_{s\times n}(\mathbb K), \qquad \dim\operatorname{Hom}(V,V')=sn=(\dim V)(\dim V').\]

特别地,

\[\operatorname{Hom}(V,V)\cong M_n(\mathbb K), \qquad \dim\operatorname{Hom}(V,V)=(\dim V)^2.\]

Proposition 在线性映射复合有定义且基已经固定时, 复合映射的矩阵等于矩阵乘积. 对 \(V\) 上的线性变换, 若 \(\mathcal A,\mathcal B\) 在同一基下的矩阵分别为 \(A,B\), 则 \(\mathcal A\mathcal B\) 的矩阵为 \(AB\).

Proof 记基行向量为 \((\alpha_1,\alpha_2,\cdots,\alpha_n)\). 由

\[\mathcal A(\alpha_1,\alpha_2,\cdots,\alpha_n) = (\alpha_1,\alpha_2,\cdots,\alpha_n)A, \qquad \mathcal B(\alpha_1,\alpha_2,\cdots,\alpha_n) = (\alpha_1,\alpha_2,\cdots,\alpha_n)B,\]

得

\[(\mathcal A\mathcal B)(\alpha_1,\alpha_2,\cdots,\alpha_n) = \mathcal A((\alpha_1,\alpha_2,\cdots,\alpha_n)B) = (\alpha_1,\alpha_2,\cdots,\alpha_n)AB.\]

Proposition 对 \(\mathcal A\in\operatorname{Hom}(V,V)\), \(\mathcal A\) 可逆当且仅当它在任一基下的矩阵 \(A\) 可逆.

Proof 固定一组基并记 \(\sigma(\mathcal A)=A\). 则

\[\begin{aligned} \mathcal A\text{ 可逆} &\Longleftrightarrow \exists\,\mathcal B\in\operatorname{Hom}(V,V),\ \mathcal A\mathcal B=\mathcal B\mathcal A=\mathcal I\\ &\Longleftrightarrow \exists\,B\in M_n(\mathbb K),\ AB=BA=I\\ &\Longleftrightarrow A\text{ 可逆}. \end{aligned}\]

Proposition 设 \(\alpha\) 在基 \(\alpha_1,\alpha_2,\cdots,\alpha_n\) 下的坐标为 \(X\), 即

\[\alpha=(\alpha_1,\alpha_2,\cdots,\alpha_n)X.\]

若 \(\gamma=\mathcal A\alpha\) 在同一基下的坐标为 \(Y\), 则

\[Y=AX.\]

Proof

\[\gamma = \mathcal A\alpha = \mathcal A(\alpha_1,\alpha_2,\cdots,\alpha_n)X = (\alpha_1,\alpha_2,\cdots,\alpha_n)AX.\]

与 \(\gamma=(\alpha_1,\alpha_2,\cdots,\alpha_n)Y\) 比较, 得 \(Y=AX\).

Theorem 设 \(\mathcal A\in\operatorname{Hom}(V,V)\). 若 \(\mathcal A\) 在基 \(\alpha_1,\alpha_2,\cdots,\alpha_n\) 与 \(\eta_1,\eta_2,\cdots,\eta_n\) 下的矩阵分别为 \(A,B\), 且从 \(\alpha\)-基到 \(\eta\)-基的过渡矩阵 \(S\) 满足

\[(\eta_1,\eta_2,\cdots,\eta_n) = (\alpha_1,\alpha_2,\cdots,\alpha_n)S,\]

则

\[B=S^{-1}AS.\]

因此线性变换在不同基下的矩阵彼此相似.

Proof 由

\[\mathcal A(\eta_1,\eta_2,\cdots,\eta_n) = (\eta_1,\eta_2,\cdots,\eta_n)B\]

以及

\[\begin{aligned} \mathcal A(\eta_1,\eta_2,\cdots,\eta_n) &=\mathcal A((\alpha_1,\alpha_2,\cdots,\alpha_n)S)\\ &=\mathcal A(\alpha_1,\alpha_2,\cdots,\alpha_n)S\\ &=(\alpha_1,\alpha_2,\cdots,\alpha_n)AS\\ &=(\eta_1,\eta_2,\cdots,\eta_n)S^{-1}AS, \end{aligned}\]

比较得 \(B=S^{-1}AS\).

Definition 由于相似矩阵有相同的行列式、秩、迹、特征多项式和特征值, 可把这些量定义为线性变换 \(\mathcal A\) 的行列式、秩、迹、特征多项式和特征值.

Definition 设 \(\mathcal A\in\operatorname{Hom}(V,V)\). 若存在非零向量 \(\xi\in V\) 与 \(\lambda_0\in\mathbb K\), 使

\[\mathcal A\xi=\lambda_0\xi,\]

则称 \(\lambda_0\) 是 \(\mathcal A\) 的特征值, \(\xi\) 是 \(\mathcal A\) 的属于 \(\lambda_0\) 的特征向量.

Proposition 若 \(A\) 是 \(\mathcal A\) 在某组基下的矩阵, \(\xi\) 在该基下的坐标为 \(X\), 则

\[\mathcal A\xi=\lambda_0\xi \quad\Longleftrightarrow\quad AX=\lambda_0X.\]

因此 \(\mathcal A\) 的特征值与它的矩阵表示 \(A\) 的特征值一致, 且特征向量的坐标就是 \(A\) 的对应特征向量.

Proof 若 \(\xi=(\alpha_1,\alpha_2,\cdots,\alpha_n)X\), 则

\[\mathcal A\xi = \mathcal A(\alpha_1,\alpha_2,\cdots,\alpha_n)X = (\alpha_1,\alpha_2,\cdots,\alpha_n)AX,\]

而

\[\lambda_0\xi = (\alpha_1,\alpha_2,\cdots,\alpha_n)\lambda_0X.\]

比较坐标即得 \(AX=\lambda_0X\).

Definition \(\mathcal A\) 的属于 \(\lambda_0\) 的特征子空间为

\[V_{\lambda_0} = \{\alpha\in V\mid \mathcal A\alpha=\lambda_0\alpha\}.\]

Definition 若 \(V\) 中存在一组基, 使线性变换 \(\mathcal A\) 在该基下的矩阵为对角矩阵, 则称 \(\mathcal A\) 可对角化.

若 \(\mathcal A\) 可对角化, 取由线性无关特征向量组成的基 \(\xi_1,\xi_2,\cdots,\xi_n\), 则

\[\mathcal A(\xi_1,\xi_2,\cdots,\xi_n) = (\xi_1,\xi_2,\cdots,\xi_n) \operatorname{diag}(\lambda_1,\lambda_2,\cdots,\lambda_n).\]

该对角矩阵称为 \(\mathcal A\) 的对角标准型.

Theorem 设 \(\mathcal A\in\operatorname{Hom}(V,V)\), \(\dim V=n\), 且 \(\lambda_1,\cdots,\lambda_s\) 是 \(\mathcal A\) 的全部不同特征值. 则以下命题等价:

\(\mathcal A\) 可对角化.
\(\mathcal A\) 有 \(n\) 个线性无关的特征向量.
\(V\) 中存在由 \(\mathcal A\) 的特征向量组成的一组基.
\(\dim V_{\lambda_1}+\dim V_{\lambda_2}+\cdots+\dim V_{\lambda_s}=n\).
\(V=V_{\lambda_1}\oplus V_{\lambda_2}\oplus\cdots\oplus V_{\lambda_s}\).