虛擬教室

工程數學講義

線性代數

課程簡介

1. 重要聲明: 這份講義只是我上課內容的摘要, 光讀這份講義絕對不足以應付考試, 更不足以把線性代數學好, 請同學務必按照進度詳讀課本/參考書並仔細作其中習題. (這裡幾乎沒有習題與例子, 更沒有證明 ...)
2. 請取得 rlab octave 矩陣計算機 (有各種 UNIX 版本, Windows 版, 甚至有 DOS 版)。 另外 「gnuplot: 函數與資料繪圖」 與本課程無直接關係, 但有助於學習數學。
3. 參考書: 大學生應該學習選擇適合自己閱讀習慣的書. 這裡所列的未必適合每個人, 只是我個人覺得不錯的書而已. 學期當中這個列表會隨時改變.
   1. R. E. Larson and B. H. Edwards. Elementary Linear Algebra Heath and Company (高立圖書代理)
   2. Steven J. Leon. Linear Algebra with Applications Macmillan (臺北圖書代理)
   我個人的擇書重點供大家參考: 原文 (即作者以其母語撰寫, 可以是中文或英文書); 多一點直覺解釋, 而不是只有證明; 配合軟體操作.
4. 更多線上講義

已獨立出來的講義

1. 幾何常識
2. 矩陣
3. 用消去法解線性方程
4. 矩陣的代數運算
5. Normal Equation 的直覺解釋

若 A 為一 n*n 方陣, 則以下諸命題等價:

1. A 為可逆
2. A 與 I 為列等價 (row-equivalent)
3. |A| != 0
4. rank(A) = n
5. N(A) = { 0 }
6. A 的列向量是 Rⁿ 的一組基底
7. A 的行向量是 Rⁿ 的一組基底
8. A x = 0 恰有唯一解
9. A x = b 恰有唯一解 x = A^-1 b
10. A 可表為數個基本矩陣之乘積

1. Elementary Matrices
   1. 對一個矩陣 A 做 elementary row operations, 相當於在 A 的左邊乘上 elementary matrices. (越後來乘的, 在越左邊)
   2. 每個 elementary matrix 都是 invertible, 而且它的 inverse 也是一個 elementary matrix. (每一對都長得還很像咧! 而且很容易求.)
   3. invertible 方陣必可化為 elementary matrices 的乘積; 反之, elementary matrices 的乘積當然是 invertible.
   學習重點: 要會把 "elementary row operation" 與 "elementary matrix 對原矩陣的乘法" 互換, 並會求效果相反的 elementary row operation.
2. Triangular Matrices and LU-factorization
   1. Upper triangular matrix (上三角矩陣): 對角線 (不含) 以下全部為 0 的矩陣.
   2. Lower triangular matrix (下三角矩陣): 對角線 (不含) 以上全部為 0 的矩陣.
   3. Q: 所有 lower triangular matrices 與所有 upper triangular matrices 的交集是什麼樣的矩陣?
   4. "腳踏實地法" 可以證得: 數個上三角矩陣的乘積依舊為上三角矩陣; 數個下三角矩陣的乘積依舊為下三角矩陣. (畫圖很容易就可以看出來.)
   5. 觀察: 用 Gauss-Jordan Elimination 在求反矩陣時, 如果都沒有用到列對換 (row-interchange), 則: 前半段所乘的都是 lower triangular matrix; 後半段所乘的都是 upper triangular matrix.
   6. 結論: upper triangular matrix 的反矩陣 (如果它確實有反矩陣的話) 也是 upper triangular; lower triangular matrix 的反矩陣 (如果它確實有反矩陣的話) 也是 lower triangular.
   7. 結論: 用 Gaussian Elimination 在求 A 的 row-echelon form 時, 如果都沒有用到列對換 (row-interchange), 則: A 可寫成下三角矩陣與上三角矩陣的乘積: A = L * U. (注意這裡的條件: A 未必需要是 invertible.)
   8. 把 A 寫成 L*U 有什麼好處? Triangular matrices 比較容易處理, 例如若 A 為 non-singular, 則要解 A x = b 可改為解 L U x = b. 令 U x = y 則可分兩步: 先用 forward substitution 把 y 解出來, 再用 backward substitution 把 x 解出來.

R^n 向量空間

1. 向量: 固定長度, 固定方向, 但位置可移動的箭頭. 用 "每個方向的位移量" 來表示. 例如 u = (u1, u2, u3).
2. 向量運算: (重要! 應像 9-9 乘法表一樣熟記!)

   運算	運算式	意義
   加法	u + v = (u1+v1, u2+v2, u3+v3)	將兩向量首尾相接, 另兩端點所成的新向量.
   減法	u - v = (u1-v1, u2-v2, u3-v3)	將兩向量首首相接, 另兩端點所成的新向量.
   乘以常數倍	c*u = (c*u1, c*u2, c*u3)	把向量沿原來的方向延伸那麼多倍.
   長度	|u| = sqrt(u1*u1+u2*u2+u3*u3)	向量的長度
   內積	u ? v = u1*v1+u2*v2+u3*v3	|u| |v| cos(t)

   內積的英文為 inner product 或 dot product. 注意到: 兩向量內積為 0 若且唯若兩者互相 垂直 (orthogonal).
3. 為什麼按照內積計算出來的值會是兩向量長度與其夾角 cos 的乘積?
   1. 先畫圖導出餘弦公式: c*c = a*a + b*b - 2*a*b*cos(t)
   2. 把向量長度的運算式代進去
4. 請注意: 以上運算式不論在幾度空間 R^n 都是正確的. (嚴格地說, 當 n>3 時, 其實是我們故意把 "夾角" 定義成讓內積公式保留它的幾何意義.)
5. (這個定義只在 R^3 有效) 兩向量的 外積 (cross product) 為另外一個向量 a ? b = (a2*b3-a3*b2, a3*b1-a1*b3, a1*b2-a2*b1).
6. 在 R^3 中, 兩向量 a 與 b 的外積具有以下特性 (值得背一下):
   1. 它與 a 垂直.
   2. 它與 b 垂直.
   3. 它的長度等於 a 與 b 所張出來的平行四邊形面積.
   Q: 給定 a 與 b, 請問 R^3 空間中有幾個滿足以上三個條件的向量? 提示: 把滿足各條件的向量末端繪出來, 各成一個平面或曲面. 求這三個面的交集.
7. 平面上 a 與 b 兩向量所張出來的平行四邊形的面積為:
   |a| * |b| * sin(t) = ... = |a1*b2 - a2*b1|
8. 空間中 a, b, c 三向量所張出來的平行六面體的體積為:
   |a ? b| * |c| * sin(u) = ... = | a1*b2*c3 - a1*b3*c2 + a2*b3*c1 - a2*b1*c3 + a3*b1*c2 - a3*b2*c1 |

Determinants

1. Determinant (行列式) 的定義 (1): 從 n*n 方陣中任意取出 n 個元素, 每列要恰有一個代表; 每行也要恰有一個代表. 把這 n 個元素相乘, 即得到 determinant 的一項. 總共有 n! 種取法, 把這 n! 項相加減, 即得到 determinant. 其中奇排列用減的; 偶排列用加的.
2. 幾個最小的例子:
   1. det(A1) = a11
   2. det(A2) = a11*a22-a12*a21
   3. det(A3) = a11*a22*a33 - a11*a23*a32 + a12*a23*a31 - a12*a21*a33 + a13*a21*a32 - a13*a22*31
3. 一個 n*n 方陣 A 的 minor: 把 A 的第 i 列與第 j 行去掉, 剩下來的那個 (n-1)*(n-1) 方陣 的行列式值 叫做 A 的一個 minor, 記為 M_i,j
4. Determinant 的定義 (2) (正式的定義): |A| = a₁₁ M₁₁ - a₁₂ M₁₂ + a₁₃ M₁₃ - a₁₄ M₁₄ ...
5. Q: 數數看這樣定義下來的行列式值公式, 展開後共有多少項? (與線性代數不太相關; 複習一下你的離散數學/排列組合)
6. 事實上想求行列式值, 不一定要對第一列展開, 可以對任何一列或任何一行展開.
7. 根據定義, 一個 upper triangular 或 lower triangular matrix 的行列式值很好求.
8. Elementary row operation 如何影響行列式值?
   1. 對調兩列: 行列式值變號
   2. 整列乘以常數倍: 行列式值也乘以同樣倍數
   3. 整列加上另外列的常數倍: 行列式值不變
9. 可以想像有所謂的 elementary column operation; 從求行列式的角度來看, 可以想像對一個矩陣做 elementary column operation 的效果, 和對它做 elementary row operation 的效果類似.
10. 定理: (可以記一下)
    1. |A B| = |A| |B|
       這個非常重要. 這是由上面有關 elementary row operation 的性質證得的; 但是偷偷告訴你記這個就可以不要記上面的性質. (數學家會罵我亂教 ...)
    2. |c A| = c^n |A|
    3. 設 A 為一個 n*n 方陣, 則以下敘述等價: 重要!
       1. A is invertible (non-singular)
       2. 不論 b 為多少, A x = b 必然恰有一解.
       3. A is row equivalent to I_n.
       4. A 可以寫成 elementary matrices 的乘積.
       5. |A| != 0.
       提示: 請與純量的相對應敘述做比較 (a 的倒數存在, ax=b 恰有一解, a 可化為某些非零數字的乘積, |a| != 0)
    4. |inv(A)| = 1 / |A|
    5. |A'| = |A|
11. 行列式的幾何應用:
    1. R^2: 測試三點是否共線.
    2. R^2: 給定兩點座標, 求過這兩點的直線方程式.
    3. R^3: 測試四點是否共面.
    4. R^3: 給定三點座標, 求過這三點的平面方程式.
    (公式的內容是其次; 真正重要的是知道給了那些條件, 可以問什麼問題. 你可以不知道 strstr 是怎麼實作的; 但是不能不知道有 strstr 這樣的函數可以幫助你到一個字串當中去找子字串.)

(一般的, 抽象的, 不一定具有幾何意義的) 向量空間

1. 向量空間
   1. 請比較下列幾個問題:
      1. 試把 5x^2-3x+1 寫成 -x^2+x+1, x^2-x+1, x^2+x-1 這三個多項式的常數倍的和.
      2. 試把 [5, -3; 0, 1] 寫成 [-1, 1; 0, 1], [1, -1; 0, 1], [1, 1; 0, -1] 這三個方陣的常數倍的和.
      3. 試把 5 cos(x) - 3 sin(x) + log(x) 寫成 -cos(x)+sin(x)+log(x), cos(x)-sin(x)+log(x), cos(x)+sin(x)-log(x) 這三個函數的常數倍的和.
      結論: 其實都是在解同一個線性聯立方程組.
   2. 解讀向量空間的定義:
      1. 所有 "向量" 所成的集合 V: 這裡面每個元素都可以是非常 "厚重", "複雜", "沒有學過", "只有外星人才看得懂", ...
      2. 但是元素與元素之間的關係卻很簡單:
         1. 兩個元素相加的結果, 居然又是這個集合 V 當中的另一個元素.
         2. 一個元素乘以常數倍的結果, 居然又是這個集合 V 當中的另一個元素.
      3. 所有元素當中有一個特別的元素, 它是所有力量的平衡, 是宇宙的中心, 任何元素與它相加都沒有變化; 但是 V 這個集合裡面如果少了它就不完整. 我們姑且把它記做粗體字的 0, 稱之為零向量.
   3. 線性代數研究的就是 V 當中 元素與元素之間的關係 (乘以常數倍, 相加, 還有這兩者的組合與變化). 線性代數不研究 V 中元素的內在特性. (可以鬆一口氣了吧?) 因為將來我們所看的定理, 都是根據向量空間的定義導出來的, 幾乎從來不會用到 V 中元素內在的特性 (不要忘記, 這些元素的內在特性可能是非常複雜的, 連數學家都無法理解 ...) 所以這些定理適用的範圍很廣. 更明確地說, 只要是滿足向量空間所有公設 (axioms) 的 V, 我們的定理便可以適用. (有點像是在 C 當中, 你要使用 qsort 時, 必須傳進去一個具有特定行為模式的副程式 cmp, 只要它滿足某些條件, qsort 就會把你的資料排序完成.)
   4. 唯一需要把 V 的元素拆開來看的時候, 是在證明 V 是一個向量空間的時候, 也就是在證明 V 滿足下列公設的時候.
   5. 向量空間的公設:

      公式	英文名稱
      u + v is in V.	closure under addition
      u + v = v + u	commutativity of addition
      u + (v + w) = (u + v) + w	associativity of addition
      u + 0 = u	existence of additive identity
      u + (-u) = 0	existence of additive inverse
      c u is in V.	closure under scalar multiplication
      c (u + v) = cu + cv	distributivity
      (c + d)u = cu + du	distributivity
      c (d u) = (cd) u	associtivity
      1 u = u	scalar identity

   6. 其他可證得的簡單性質:
      1. 0 u = 0
      2. c 0 = 0
      3. 若 c u = 0 則 c = 0 或 v = 0
      4. (-1) u = -u
2. subspace (子空間):
   1. 定義: 一個向量空間 V 的 (非空) 子集合 W, 如果本身又是一個向量空間, 則稱之為 V 的subspace 子空間. (要使用原來的乘法與加法才算數.)
   2. 定理: 一個向量空間 V 的 (非空) 子集合 W, 如果滿足加法與乘法的封閉性, 則必為 V 的子空間.
   3. 定理: 子空間的交集必為子空間.
   4. Q: R^2 有那些子空間? R^3 有那些子空間? 猜猜看 R^n 有那些子空間?
   5. Q: C[-1,1] 在函數的加法, 及函數與純量的乘法這兩個運算下構成一個向量空間. 試問以下集合是否為 C[-1,1] 的子空間: V1 = { f(x) in C[-1,1] : f(-1)=-1 }, V2 = { f(x) in C[-1,1] : |f(x)| = f(x) for all x in [-1,1] }, V3 = { f(x) in C[-1,1] : f(-1) = f(1) = 0 }.
3. linear combination (線性組合):
   1. 定義: 一堆 (有限個) 向量的常數倍的和即稱為這些向量的一個 linear combination (線性組合)
   2. 把一個向量化為數個向量線性組合的問題, 其實就是解線性方程組的問題.
   3. 定義: 把一堆 (有限個) 向量 A 的 所有 線性組合搜集起來所成的集合, 稱為 A 的 span; 記為 span(A).
   4. 定理: span(A) 是一個子空間. 不僅如此, 它是所有包含 A 的子空間當中最小的一個.
   5. 定義: span(A) 稱為 A 所張的子空間; A 稱為 span(A) 的一個 spanning set. (注意: 一個子空間可以有很多組不同的 spanning sets.)
   6. 定義: 一堆 (有限個) 向量, 如果只有唯一一種方式可以讓它們的線性組合為 0, 則稱它們彼此 linearly independent (線性獨立); 如果不只一種方式, 則稱它們彼此 linearly dependent (線性相依).
   7. 註: 上面所說的唯一一種方式就是取所有的係數為 0
   8. 定理: 線性相依的一堆向量, 其中必有向量可化為其他向量的線性組合. 反之亦然.
   9. 線性獨立/線性相依的直覺解釋: 在 R^n 當中, k 個向量 (k <= n) 必定落在同一個 k-flat 上. 如果它們竟然落在同一個 (k-1)-flat 上 (它們所張開的平行 xxx 的 x 積等於零), 就叫做線性相依; 否則就叫做線性獨立.
   10. Q: 在多項式的加法, 及多項式與常數的乘法下, 所有的多項式構成一個向量空間. 請問 {x^2-5x+6, x^-4x+4} 這兩個向量線性相依或線性獨立? 若取 x=2 就可以任取不全為 0 的係數讓兩者的線性組合為 0, 這樣對嗎?
   11. 小考必考題: 給你幾個向量, 問它們之間究竟是線性獨立亦或是線性相依; 若是線性相依, 請將其中一個表示為其他的線性組合.
   12. Q: 請描述空間中兩個向量何時線性相依, 何時線性獨立. 三個向量呢?
   13. Q: 若 u 與 v 線性獨立, 試問 u, v, u+v, u-v 當中, 有那幾對也是彼此線性獨立?
   14. (要變成你的反射動作!) 重要圖象: A * x 可以解釋成
       1. A 的行向量的線性組合 (以 x1, x2, ... xn 為係數)
       2. A 的列向量分別與 x 做內積的結果
4. 基底
   1. 何謂向量空間 V 的一組 basis 基底? 多到足以張出整個 V; 少到彼此線性獨立.
   2. 定理: (uniqueness of basis representation) 給定一組基底, 每個向量可以用唯一的一組數字 (即線性組合當中的係數) 來表示. (而不會出現 "兩組數字都代表同一個向量" 的窘境.) 換句話說, 一組基底之於它所張的向量空間, 就像一個長度的單位之於長度這個觀念一樣, 可以把一個觀念化簡為數字表示出來. (給定一個長度單位, 每個長度可以用唯一的一個數字來表示, 而不會出現 "兩個數字都代表同一個長度" 的窘境.)
   3. 定理: 一個向量空間 V 它的每一組基底的元素個數都一樣. 把這個固定的元素個數稱為 V 的 dimension
   4. 對基底的直覺解釋: (以 R^3 為例) 在原點上隨便豎起三根不共面的筷子 (長度不必一樣), 成為一組基底. 想像把這樣一組筷子複製無限多份, 平移到空間中各處, 形成一個筷子方格網 (每個方格都是一模一樣的平行六面體), 如此一來空間中每個方格頂點 (筷子交叉處) 都可用一組 (三個) 整數座標表示. 空間中其他點也可用一組實數座標表示.
   5. 定理: 從 n 維向量空間 V 當中隨便挑 n 個向量, 如果它們彼此線性獨立, 則它們可構成 V 的一組基底.
   6. 定理: 從 n 維向量空間 V 當中隨便挑 n 個向量, 如果它們可以張出整個 V, 則它們可構成 V 的一組基底.
   7. 說明: 一種好的表示法 (例如用公分描述長度, 用身份證字號描述人, ...) 應該滿足以下三個條件:
      1. 每個物件都可以表示得出來.
      2. 每個物件都只有唯一的一種表達方式.
      3. 不同的物件有不同的表達方式.
   8. 一個 (有點牽強的) 例子: 如何表達顏色? RGB, CMY, HSB (其實顏色的空間並非向量空間, 且 HSB 並不滿足 (2) ).
5. 矩陣的秩 (rank)
   1. 一個矩陣 A 的 row space: A 的列向量所張出來的空間
   2. 一個矩陣 A 的 column space: A 的行向量所張出來的空間
   3. 定理: 對一個矩陣做基本列運算, 所得到的新矩陣具有相同的 row space. 所以可以用基本列運算化簡矩陣至 row-echelon form, 進而得到 row space 的一組基底.
   4. Q: 為什麼不直接拿原來的列向量當做基底就好了?
   5. 定理: 一個方陣的 row space 與 column space 具有相同的 dimension.
   6. 定義: 一個方陣 A 的 row space (或 column space) 的 dimension 就稱為 A 的 rank 秩.
   7. 定理: 若 A 為一個 m * n 矩陣, 則 A x = 0 的解集合構成 R^n 的一個子空間. 這個子空間稱為 A 的 nullspace, 它的 dimension 稱為 A 的 nullity.
   8. 幾何解釋: 與 A 的所有列向量垂直的向量有那些?
   9. 定理: 若 A 為一個 m * n 矩陣, 則 rank(A) + nullity(A) = n.
   10. 直覺提示: n 為變數個數 ...
   11. 定理: (如何求 A x = b 的所有解) 若 x₀ 為 A x = b 的一組解, 則完整的解集合即是 { x₀ + x_h : x_h 屬於 A 的 nullspace }.
   12. 幾何解釋: A x = b, A x = c, A x = d, ... 等等各題的解集合為空間中平行的 k-flat 其中 k 為 A 的 nullity.
   13. 定理: A x = b 為 consistent 若且唯若 b 屬於 A 的 column space.
   14. 定理: 與 "A 為 invertible" 這句話 (及其他許多句話) 等價的還有: "A 的行向量線性獨立", "A 的列向量線性獨立".
6. 座標及座標轉換
   1. 定義: 在向量空間 V 當中, 把一個向量 x 用一組基底 B 的線性組合來表示時, 所取的係數稱為 x 相對於 B 的 座標 (coordinates), 記做 [x]_B.
   2. 直覺解釋: 向量是我們真正有興趣的東西; 基底是度量用的單位; 而座標則只是一組數字, 脫離基底單獨存在並沒有任何意義. 例如 "臺灣島的海岸線長度為 1139 公里" 這句話當中, "臺灣島的海岸線長度" 是我們真正有興趣的東西, 就算這個世界上沒有人在這裡測量, 它還是存在; 公里是一個度量用的單位; 而 1139 只是一組數字, 脫離 "公里" 單獨存在並沒有任何意義. 請仔細對照比較:

                      向量     = 基底     * 座標
                      真實的量 = 度量單位 * 讀數
              
      

      (注意: 如果我們把基底與疪標都用行向量表示, 則基底一定要寫在左邊.)
   3. 平常我們寫 (2, -3, 5)^T 的意思其實是把 x = 2e1 - 3 e2 + 5 e3 這個向量用 "它相對於標準基底 S = { e1, e2, e3 } 的 座標" 來表示. 所以嚴格說來, 我們不應該寫 x = (2, -3, 5)^T, 而應該寫 [x]_S = (2, -3, 5)^T.
   4. transition matrix: 把 (可以是很抽象的) 向量空間 V 當中的一組基底 C = { c1, c2, ... cn } 的每個向量用 V 當中的標準基底寫出它的座標: [c1]_S, [c2]_S, ... [cn]_S 得到 n 個 R^n 當中的行向量. 把這 n 個 R^n 當中的行向量並排在一起, 形成一個 n*n 方陣, 我們姑且把它記為 [C]_S. 請仔細思考下式的意義:
      [C]_S [x]_C = [x]_S
      "若已知向量 x 相對於 C 的座標, 則在它左邊乘上 「C 相對於標準基底的座標」, 可以求得向量 x 相對於標準基底的座標". 所以稱 [C]_S 為 transition matrix from C to S.
   5. 請比較:
      1.609 * 707.9 = 1139
      "英哩" 這個單位用 "公里" 來表示, 它的值是 1.609; "臺灣海岸線長度" 用英哩來表示, 它的值是 707.9; "臺灣海岸線長度" 用公里來表示, 它的值是 1139.
   6. 不過我們平常比較常問的問題是: "已知向量 x 相對於標準基底的座標, 求它相對於新基底 C 的座標", 那麼就把上式倒過來用:
      [x]_C = ([C]_S)^(-1) [x]_S
      (所謂倒過來用當然不是隨便把等式亂改, 而是把輸入與輸出互換, 看應該如何調整原等式.)
   7. 座標轉換 (change of coordinate system; change of basis) 當然不僅止於標準基底與非標準基底, 也可以在兩套非標準基底之間發生. 可以從下列兩個式子當中隨便選一個來理解:
      1. [C]_B [x]_C = [x]_B
         
      2. [C]_S [x]_C = [B]_S [x]_B
   8. 請比較:
      
      1. 1.151 * 615.0 = 707.9
      2. 1.852 * 615.0 = 1.609 * 707.9
      1 海浬 = 1.151 英哩; 1 英哩 = 1.609 公里; 1 海浬 = 1.852 公里.
      臺灣海岸線長度 = 1139 公里 = 707.9 英哩 = 615 海浬.
   9. 如果連續做好幾次座標轉換呢? 每次都把最新的 transition matrix 乘在最左邊.

(一般的, 抽象的, 不一定具有幾何意義的) 內積空間

1. 內積空間的定義: 一個向量空間加上一個 "傳入兩個向量, 傳出一個純量" 的內積函數 inner product, 即稱為一個內積空間 inner product space. 兩個向量 u 及 v 的內積記作 < u, v >, 且這個函數必須滿足下列公設 (axioms):
   1. < u, v > = < v, u >
   2. < u, v + w > = < u, v > + < u, w >
   3. c < u, v > = < c u, v >
   4. < v, v > 必然大於或等於零, 而且等號只有在 v = 0 時才成立.
2. 內積的性質:
   1. < 0, v > = < v, 0 > = 0;
   2. < u + v, w > = < u, w > + < v, w >
   3. c < u, v > = < u, c v >
   (後兩項其實都只是把交換律應用到定義所得的結果而已.)
3. 由內積衍生出來的定義:
   1. 定義向量 u 的 norm (length, 長度) 為 | u | = sqrt(< u, u >)
   2. 定義向量 u 與 v 之間的 distance (距離) 為 d(u,v) = | u - v |.
   3. 定義向量 u 與 v 之間的 夾角 為 < u, v > / ( |u| * | v | ) 的 cos^(-1)
   4. 若 < u, v > = 0 則稱 u 與 v orthogonal (正交).
4. 內積的直覺解釋: 為了要能夠表達兩個向量之間的夾角, 及一個向量之間的距離, 而定義出來的觀念. 一個向量空間 (例如 P_n) 上可以定義很多種不同的內積 (例如對應項係數乘積的和, 或定積分); 究竟那一個定義比較符合直覺或符合應用問題的需要, 就多少需要主觀的判斷了.
5. 重要定理:
   1. Cauchy-Schwarz Inequality (哥西/舒瓦茲不等式): | < u, v > | <= |u| * |v|
   2. Triangle Inequality (三角不等式): | u + v | <= |u| + |v|
   3. Pythagorean Theorem (畢氏定理): u 與 v 正交 若且唯若 |u+v|^2 = |u|^2 + |v|^2
6. 定義: orthogonal projection of u onto v (u 在 v 上面的投影?): (< u, v > / < v, v >) v
7. 投影的特性: u 在 v 上面的投影, 是 v 的延伸線上所有向量當中, 離 u 最近的一個.
8. 定義: 一組基底 B, 若其中所有向量兩兩正交, (則 B 內所有向量必然線性獨立) 則稱 B 為一組 orthogonal basis (正交基底); 一組正交基底 B, 若其中所有向量均為單位向量, 則稱 B 為一組 orthonormal basis (正么基底).
9. 例: 在 C[0, 2pi] 中, 若以一般的定積分做為內積的定義, 則 S = { 1, sin x, cos x, sin 2x, cos 2x, ... sin nx, cos nx } 為 span(S) 的一組正交基底.
10. 為何我們喜歡使用正么基底? 因為座標轉換容易: 若 B = { v_i | i = 1,2, ... n } 為一組正么基底, w 為同一個空間中任何一個向量, 則 w = <w, v_1 > v_1 + <w, v_2 > v_2 + ... + <w, v_n > v_n (提示: 以 R^n 為例, 若把一組正么基底寫成一個 n*n 方陣 A, 則 A^T * A = I, 也就是說 A^(-1) = A^T, 所以兩個方向的座標轉換都不必解聯立方程組, 只要做矩陣乘法)
11. Gram-Schmidt Orthonormalization Process: 如何從一組基底 V = { v_i | i = 1, 2, ... n } 產生出另外一組正么基底 U = { u_i | i = 1, 2, ... n } 且 span(U) = span(V)?

            u_1 = v_1 / |v_1|
    
    u_2 = w_2 / |w_2| 其中 w_2 = v_2 - <v_2,u_1>u_1
    u_3 = w_3 / |w_3| 其中 w_3 = v_3 - <v_3,u_1>u_1 - <v_3,u_2>u_2
            ...
        
    
    

    如何求 w_(i+1)? 把前 i 個向量所張開來的子空間找出來, 把 v_(i+1) 在這個子空間上的投影去掉, 就是 w_(i+1). 再找出這個方向的單位向量, 就是 u_(i+1).
12. QR factorization: 若把 R^m 當中 n 個線性獨立的向量 (當然 m >= n) 寫成一個矩陣 A, 則根據 Gram-Schmidt Orthonormalization Process 的過程, 可以把 A 化為 Q 與 R 的乘積, 其中 Q * Q^T = I (它的行向量就是最後產生出來的那組正么基底), 而 R 為一個上三角矩陣.
13. 最小方差問題: 欲解 A x = b, 但無解時 (通常是因為條件個數太多, 變數個數太少), 可以改解 A^T (A x' - b) = 0. 這個方程組稱為原方程組的 normal equations. 所得到的這個解 x' 當然不一定滿足原方程組, 但它是所有 x 當中, "讓誤差最小" 的那個解. (最小方差公式的口訣: "讓誤差向量與 A 的 column space 正交!")

Linear Transformations

1. 矩陣乘以向量的兩種解釋:
   1. alias interpretation: 座標轉換 coordinate transformation
   2. alibi interpretation: 線性映射 linear transformation
2. simliarity: A' = S^(-1) A S 同一個線性映射, 在兩個不同的座標系統下的表達方式.

Eigenvalues and Eigenvectors

1. 何謂一個矩陣 A 的 eigenvectors? 那些被 A 作用後, 不改變方向的向量. A x = c x

Hermitian Matrices

hermitian.fgeo

線性代數 => 近代物理 => 哲學

近代物理的哲學觀

• 本頁最新版網址: http://people.ofset.org/~ckhung/b/la/; 您所看到的版本: March 09 2010 16:38:00.
• 作者: 朝陽科技大學 資訊管理系 洪朝貴
• 寶貝你我的地球, 請 減少列印, 多用背面, 丟棄時做垃圾分類。
• 本文件以 Creative Commons Attribution-ShareAlike License 或以 Free Document License 方式公開授權大眾自由複製/修改/散佈。