跳到主要内容

线性方程组与向量组

参考资料

引入

线性方程组 是线性代数最早出现、也最实用的问题。本节把方程组和 向量组 放在一起研究,因为它们其实是同一件事的两种说法:

  • 方程组 Ax=bA\vec x=\vec b 是否有解     \iff b\vec b 能否被 AA 的列向量 线性表示
  • 解的个数(唯一还是无穷)    \iff AA 的列向量是否 线性相关

把矩阵乘法 AxA\vec x 看成「AA 的各列以 x1,x2,x_1,x_2,\dots 为权重的线性组合」,这条桥就立起来了:解方程组,就是找一组权重把 AA 的列向量「拼」成 b\vec b。一切最终归结为

向量与向量组

向量

nn列向量 α=(a1,a2,,an)T\vec\alpha=(a_1,a_2,\dots,a_n)^T,可以看成 Rn\mathbb R^n 空间里从原点出发的一个箭头,或一个点。

线性运算

α+β,kα\vec\alpha+\vec\beta,\qquad k\vec\alpha

加法是「箭头首尾相接」(平行四边形法则),数乘是「沿原方向伸缩」。这两种运算满足结合律、交换律、分配律。

线性组合与线性表示

若存在数 k1,,ksk_1,\dots,k_s 使

β=k1α1+k2α2++ksαs\vec\beta=k_1\vec\alpha_1+k_2\vec\alpha_2+\dots+k_s\vec\alpha_s

则称 β\vec\betaα1,,αs\vec\alpha_1,\dots,\vec\alpha_s 的一个 线性组合,也说 β\vec\beta 可由它们 线性表示。这恰好等价于方程组 (α1,,αs)x=β(\vec\alpha_1,\dots,\vec\alpha_s)\vec x=\vec\beta 有解。

一组向量的所有线性组合构成的集合,叫它们 张成(Span)的空间 —— 这是后面「列空间」的来源。

线性相关与线性无关

定义

向量组 α1,,αs\vec\alpha_1,\dots,\vec\alpha_s 称为 线性相关(Linearly Dependent),若存在 不全为零 的数 k1,,ksk_1,\dots,k_s 使

k1α1+k2α2++ksαs=0k_1\vec\alpha_1+k_2\vec\alpha_2+\dots+k_s\vec\alpha_s=\vec 0

否则称 线性无关(Linearly Independent)。

提示

几何直觉一句话:线性相关 = 有「多余」的向量

  • 两个向量相关,就是它们 共线(一个是另一个的倍数)。
  • 三个向量相关,就是它们 共面(挤在同一平面里,张不出三维体)。

线性无关,则每个向量都提供了一个「新方向」,谁都不能由其余的拼出来。判断相关性,本质是问「这堆向量真正撑起了几维空间」。

等价判定

下面几句说的是同一件事:

α1,,αs 线性相关    至少一个向量能由其余线性表示    r(α1,,αs)<s\vec\alpha_1,\dots,\vec\alpha_s\ \text{线性相关}\iff\text{至少一个向量能由其余线性表示}\iff r(\vec\alpha_1,\dots,\vec\alpha_s)<s

反过来,线性无关     \iff 矩阵 (α1,,αs)(\vec\alpha_1,\dots,\vec\alpha_s) 的秩 =s=s     \iff 齐次方程组 (α1,,αs)x=0(\vec\alpha_1,\dots,\vec\alpha_s)\vec x=\vec 0 只有零解。

重要结论

  • 零向量 的向量组必线性相关。
  • 单个非零向量线性无关;两个向量相关当且仅当成比例。
  • 部分相关 \Rightarrow 整体相关整体无关 \Rightarrow 部分无关
  • n+1n+1nn 维向量 必线性相关(向量个数超过维数,必有多余)。
  • 无关组每个向量「接长」分量后仍无关;相关组「截短」分量后仍相关。

极大无关组与秩

极大线性无关组

向量组 AA 的一个子组 A0=αi1,,αirA_0=\vec\alpha_{i_1},\dots,\vec\alpha_{i_r} 若满足:

  1. A0A_0 本身线性无关;
  2. AA 里再添任何一个向量进去都变成相关。

则称 A0A_0AA极大线性无关组(Maximal Linearly Independent Subset)。它是这组向量的「骨架」:剩下的向量都能由它线性表示,但它一个都不多余。极大无关组通常不唯一,但所含向量个数固定。

向量组的秩

极大无关组中向量的个数,记为 r(α1,,αs)r(\vec\alpha_1,\dots,\vec\alpha_s),称为向量组的 。它等于由这些向量作列拼成的矩阵的秩:

r(α1,,αs)=r((α1,,αs))r(\vec\alpha_1,\dots,\vec\alpha_s)=r\big((\vec\alpha_1,\dots,\vec\alpha_s)\big)

这就把「向量组的秩」和「矩阵的秩」彻底打通了 —— 它们是同一个数。

例:求向量组 α1=(1,2,1)T\vec\alpha_1=(1,2,1)^Tα2=(2,4,2)T\vec\alpha_2=(2,4,2)^Tα3=(1,1,3)T\vec\alpha_3=(1,1,3)^Tα4=(2,3,4)T\vec\alpha_4=(2,3,4)^T 的秩和一个极大无关组。把它们作 拼成矩阵,做初等行变换化行阶梯形:

(121224131234)r22r1, r3r1(121200110022)r3+2r2(121200110000)\begin{pmatrix}1&2&1&2\\2&4&1&3\\1&2&3&4\end{pmatrix} \xrightarrow{r_2-2r_1,\ r_3-r_1} \begin{pmatrix}1&2&1&2\\0&0&-1&-1\\0&0&2&2\end{pmatrix} \xrightarrow{r_3+2r_2} \begin{pmatrix}1&2&1&2\\0&0&-1&-1\\0&0&0&0\end{pmatrix}

非零行有 22 个,故秩为 22。主元落在 1133,所以 α1,α3\vec\alpha_1,\vec\alpha_3 构成一个极大无关组。其余两个可由它们表示:从阶梯形看出 α2=2α1\vec\alpha_2=2\vec\alpha_1,而 α4=α1+α3\vec\alpha_4=\vec\alpha_1+\vec\alpha_3(用 α1+α3=(2,3,4)T\vec\alpha_1+\vec\alpha_3=(2,3,4)^T 核对正是 α4\vec\alpha_4)。这套「行变换定秩、主元列定骨架」的做法是求极大无关组的标准流程。

等价向量组

两个向量组 A,BA,B 若能 相互线性表示,称为 等价。等价的向量组必 秩相同(但秩相同不一定等价)。

线性方程组

一般形式

Ax=bA\vec x=\vec b

AAm×nm\times n 系数矩阵b\vec bmm 维常数列。把 b\vec b 拼到 AA 右边得到 增广矩阵 Aˉ=(Ab)\bar A=(A\,|\,\vec b)b=0\vec b=\vec 0 时称 齐次,否则称 非齐次

高斯消元法

求解的通用算法:对 增广矩阵 Aˉ\bar A 做初等行变换,化成 行最简形,再直接读出解。每次行变换对应方程的等价变形(交换方程、方程乘非零数、一个方程加另一个的倍数),不改变解集。

化到行最简形后,主元所在列对应的变量叫 主变量,其余叫 自由变量。自由变量可任取,主变量由它们表出,自由变量的个数 =nr(A)=n-r(A) 正是解的「自由度」。

解的判定

情形条件
无解r(A)r(Aˉ)r(A)\ne r(\bar A)不存在
唯一解r(A)=r(Aˉ)=nr(A)=r(\bar A)=n恰一组
无穷多解r(A)=r(Aˉ)<nr(A)=r(\bar A)<nnrn-r 个自由变量
提示

记忆要点:先比 r(A)r(A)r(Aˉ)r(\bar A) —— 不相等就 无解b\vec b 拼不进 AA 的列空间)。相等了再看它和未知数个数 nn 的关系 —— 等于 nn 唯一解,小于 nn 无穷多解。「r(A)r(A) 决定有没有约束,Aˉ\bar A 决定相不相容」。

齐次方程组 Ax=0A\vec x=\vec 0 因为 b=0\vec b=\vec 0,永远 相容(至少有零解)。它有 非零解 的充要条件是 r(A)<nr(A)<n

例(唯一解):解 {x1+x2+x3=62x1+3x2+x3=11x1x2+2x3=5\begin{cases}x_1+x_2+x_3=6\\2x_1+3x_2+x_3=11\\x_1-x_2+2x_3=5\end{cases}。对增广矩阵消元:

(1116231111125)r22r1, r3r1(111601110211)r3+2r2(111601110013)\left(\begin{array}{ccc|c}1&1&1&6\\2&3&1&11\\1&-1&2&5\end{array}\right) \xrightarrow{r_2-2r_1,\ r_3-r_1} \left(\begin{array}{ccc|c}1&1&1&6\\0&1&-1&-1\\0&-2&1&-1\end{array}\right) \xrightarrow{r_3+2r_2} \left(\begin{array}{ccc|c}1&1&1&6\\0&1&-1&-1\\0&0&-1&-3\end{array}\right)

r(A)=r(Aˉ)=3=nr(A)=r(\bar A)=3=n,唯一解。回代:由末行 x3=3-x_3=-3x3=3x_3=3;代入第 22x2x3=1x_2-x_3=-1x2=2x_2=2;代入首行得 x1=623=1x_1=6-2-3=1。解为 (1,2,3)T(1,2,3)^T

例(无解):解 {x1+x2+x3=12x1+2x2+2x3=3\begin{cases}x_1+x_2+x_3=1\\2x_1+2x_2+2x_3=3\end{cases}r22r1r_2-2r_1(11110001)\left(\begin{array}{ccc|c}1&1&1&1\\0&0&0&1\end{array}\right),末行翻译成 0=10=1,矛盾。此时 r(A)=1r(Aˉ)=2r(A)=1\ne r(\bar A)=2,无解——b\vec b 不在 AA 的列空间里。

例(无穷多解):解 {x1+x2+x3=22x1+x2x3=1\begin{cases}x_1+x_2+x_3=2\\2x_1+x_2-x_3=1\end{cases}。消元化行最简形:

(11122111)r22r1(11120133)r2, r1r2(10210133)\left(\begin{array}{ccc|c}1&1&1&2\\2&1&-1&1\end{array}\right) \xrightarrow{r_2-2r_1} \left(\begin{array}{ccc|c}1&1&1&2\\0&-1&-3&-3\end{array}\right) \xrightarrow{-r_2,\ r_1-r_2} \left(\begin{array}{ccc|c}1&0&-2&-1\\0&1&3&3\end{array}\right)

r(A)=r(Aˉ)=2<n=3r(A)=r(\bar A)=2<n=3,有 nr=1n-r=1 个自由变量。取 x3=tx_3=t 为自由变量,主变量 x1=1+2tx_1=-1+2tx2=33tx_2=3-3t,通解

x=(130)+t(231),tR\vec x=\begin{pmatrix}-1\\3\\0\end{pmatrix}+t\begin{pmatrix}2\\-3\\1\end{pmatrix},\quad t\in\mathbb R

前一项是特解,后一项是对应齐次方程的解,正合「特解 ++ 齐次通解」的结构。

解的结构

齐次方程组

r(A)=r<nr(A)=r<n,则解集是一个 nrn-r 维的子空间。能找到 nrn-r线性无关 的解 ξ1,,ξnr\vec\xi_1,\dots,\vec\xi_{n-r},它们构成 基础解系(Fundamental System of Solutions),通解是它们的任意线性组合:

x=c1ξ1+c2ξ2++cnrξnr,ciR 任意\vec x=c_1\vec\xi_1+c_2\vec\xi_2+\dots+c_{n-r}\vec\xi_{n-r},\qquad c_i\in\mathbb R\ \text{任意}

基础解系就是解空间的一组 nrn-r 就是它的维数。

例:求 {x1+x2x3+x4=02x1+x2+x3x4=0\begin{cases}x_1+x_2-x_3+x_4=0\\2x_1+x_2+x_3-x_4=0\end{cases} 的基础解系。系数矩阵化行最简形:

(11112111)r22r1(11110133)r2, r1r2(10220133)\begin{pmatrix}1&1&-1&1\\2&1&1&-1\end{pmatrix} \xrightarrow{r_2-2r_1} \begin{pmatrix}1&1&-1&1\\0&-1&3&-3\end{pmatrix} \xrightarrow{-r_2,\ r_1-r_2} \begin{pmatrix}1&0&2&-2\\0&1&-3&3\end{pmatrix}

r(A)=2r(A)=2,自由度 nr=42=2n-r=4-2=2。主变量是 x1,x2x_1,x_2,自由变量是 x3,x4x_3,x_4,由行最简形读出 x1=2x3+2x4x_1=-2x_3+2x_4x2=3x33x4x_2=3x_3-3x_4。分别取 (x3,x4)=(1,0)(x_3,x_4)=(1,0)(0,1)(0,1),得两个线性无关的解:

ξ1=(2310),ξ2=(2301)\vec\xi_1=\begin{pmatrix}-2\\3\\1\\0\end{pmatrix},\qquad \vec\xi_2=\begin{pmatrix}2\\-3\\0\\1\end{pmatrix}

通解为 x=c1ξ1+c2ξ2\vec x=c_1\vec\xi_1+c_2\vec\xi_2。代回原方程可验证 ξ1,ξ2\vec\xi_1,\vec\xi_2 都满足,且二者不成比例、确实线性无关。

非齐次方程组

Ax=bA\vec x=\vec b 相容。它的通解 = 对应齐次方程 Ax=0A\vec x=\vec 0 的通解 + 任一个特解 η\vec\eta^*

x=η+c1ξ1+c2ξ2++cnrξnr\vec x=\vec\eta^*+c_1\vec\xi_1+c_2\vec\xi_2+\dots+c_{n-r}\vec\xi_{n-r}

道理很直接:若 η1,η2\vec\eta_1,\vec\eta_2 都是非齐次的解,则 A(η1η2)=bb=0A(\vec\eta_1-\vec\eta_2)=\vec b-\vec b=\vec 0,差是齐次解。所以全体非齐次解 = 一个特解再加上所有齐次解。

提示

这与 微分方程 中「线性 ODE 解的结构」完全同构:非齐次通解 = 齐次通解 + 特解。这并非巧合,而是 线性算子 理论的统一表述 —— 凡是线性映射 LL,方程 L(x)=bL(x)=b 的解集都长这个样子。

几何直观

把解集放回空间里看,结构一目了然:

  • 齐次方程组的解集 {x:Ax=0}\set{\vec x:A\vec x=\vec 0} 是一个 过原点 的子空间(一条过原点的直线、一张过原点的平面……),维数为 nrn-r
  • 非齐次方程组的解集是它的一个 平移:把齐次解空间整体挪到特解 η\vec\eta^* 上,得到一个 不过原点仿射子空间

所以「特解 ++ 齐次通解」就是「先定一个落点,再沿解空间自由滑动」。两个平面相交得一条直线、三个平面交于一点,这些中学几何场景,都是方程组解结构的特例。

向量空间初步

向量空间

Rn\mathbb R^n 是最常见的 向量空间(Vector Space):对加法、数乘 封闭,且满足结合、交换、分配等 八条公理。直观上它就是「能自由做线性组合的场所」。

子空间

Rn\mathbb R^n 的非空子集 WW 若对加法和数乘也封闭,就称为 子空间(Subspace)。子空间必过原点。和矩阵相关的两个重要子空间:

  • 零空间(Null Space,解空间):齐次方程 Ax=0A\vec x=\vec 0 的全体解,维数 =nr(A)=n-r(A)
  • 列空间(Column Space):AA 的列向量张成的空间,等于 b\vec b 使 Ax=bA\vec x=\vec b 有解的全部取值,维数 =r(A)=r(A)

由此得到 秩-零化度定理r(A)+dim(零空间)=nr(A)+\dim(\text{零空间})=n,正是「主变量 + 自由变量 = 总变量数」的几何版本。

基、维数、坐标

  • (Basis):子空间的一个极大无关组 —— 既能张成整个空间,又互相独立。
  • 维数(Dimension):基中向量的个数,是空间「有几个独立方向」的度量。
  • 坐标(Coordinate):向量在某组基下的表示系数。选定基后,抽象向量就和一串具体数字一一对应。

同一个向量在不同基下坐标不同,两组基之间通过 过渡矩阵(基变换矩阵)换算。这个「换基」的思想,正是 特征值与相似矩阵 里相似变换的几何内核。

例(求坐标):在 R2\mathbb R^2 里取一组基 β1=(1,1)T\vec\beta_1=(1,1)^Tβ2=(1,1)T\vec\beta_2=(1,-1)^T,求向量 γ=(3,1)T\vec\gamma=(3,1)^T 在这组基下的坐标。即解 x1β1+x2β2=γx_1\vec\beta_1+x_2\vec\beta_2=\vec\gamma

{x1+x2=3x1x2=1x1=2, x2=1\begin{cases}x_1+x_2=3\\x_1-x_2=1\end{cases}\Rightarrow x_1=2,\ x_2=1

γ\vec\gamma 在基 {β1,β2}\set{\vec\beta_1,\vec\beta_2} 下的坐标是 (2,1)T(2,1)^T,即 γ=2β1+β2\vec\gamma=2\vec\beta_1+\vec\beta_2

例(过渡矩阵):从基 B1={e1,e2}B_1=\set{\vec e_1,\vec e_2}(标准基)换到 B2={β1,β2}B_2=\set{\vec\beta_1,\vec\beta_2}。过渡矩阵 PP 的列就是 新基向量在旧基下的坐标,所以 P=(β1,β2)=(1111)P=(\vec\beta_1,\vec\beta_2)=\begin{pmatrix}1&1\\1&-1\end{pmatrix}。它把「B2B_2 下的坐标」换算成「B1B_1 下的坐标」:若向量在新基下坐标为 y\vec y,则在旧基(即原始分量)下为 x=Py\vec x=P\vec y。验证 y=(2,1)T\vec y=(2,1)^TPy=(1111)(21)=(31)=γP\vec y=\begin{pmatrix}1&1\\1&-1\end{pmatrix}\begin{pmatrix}2\\1\end{pmatrix}=\begin{pmatrix}3\\1\end{pmatrix}=\vec\gamma,与上一例一致。反向换算用 y=P1x\vec y=P^{-1}\vec x