526互联

矩阵范数（matrix norm）

发布时间 2023-12-18 10:43:26作者: 夕月一弯

向量范数是很常见的，在很多教科书里都能见到。矩阵范数是对向量范数的一种推广。下面转载一篇讲解矩阵范数的文章，里面有对弗罗贝尼乌斯范数的定义，比较适合扫盲。原文如下：

矩阵范数（matrix norm）是数学上向量范数对矩阵的一个自然推广。

矩阵范数的特性

以下 K 代表实数或复数域。现在考虑 K^{m \times n} 空间，亦即所有 m 行与 n 列的矩阵。

K^{m \times n} 上的矩阵范数满足向量范数的所有特性，即若 \|A\| 是矩阵 A 的范数，那么：

  • \|A\|\ge 0，且等号成立当且仅当 A = 0 。
  • \|\alpha A\|=|\alpha| \|A\|，对于所有 α 属于 K 和所有矩阵 A 属于 K^{m \times n} 成立。
  • \|A+B\| \le \|A\|+\|B\|，对于所有矩阵 A 和 B 属于 K^{m \times n}.

此外，一些定义在n乘n矩阵上的矩阵范数（但并非所有这类的范数）满足一个或多个以下与“矩阵比纯粹一个向量有更多东西的事实”有关的条件：

一个满足第一个附加特性的矩阵范数被称为服从乘法范数（sub-multiplicative norm）。附上矩阵范数并包含所有 n×n 矩阵的集合，是巴拿赫代数的一个例子。

（在一些书上，术语“矩阵范数”只指服从乘法范数。）

诱导范数

Km及Kn上向量范数已知（K 是实数或复数域），可在 m \times n 矩阵空间上按照下述原则定义相应的“诱导范数”或算子范数：

\begin{align} \|A\| &= \max\{\|Ax\| <wbr>: x\in K^n \mbox{ with }\|x\|\le 1\} \\ &= \max\{\|Ax\| <wbr>: x\in K^n \mbox{ with }\|x\| = 1\} \\ &= \max\left\{\frac{\|Ax\|}{\|x\|} <wbr>: x\in K^n \mbox{ with }x\ne 0\right\}. \end{align}

若 m = n 且在定义域和值域上使用相同的范数，则诱导的算子范数是服从乘矩阵范数。

举例说明, 与向量的 p-范数对应的算子范数是：

\left \| A \right \| _p = \max \limits _{x \ne 0} \frac{\left \| A x\right \| _p}{\left \| x\right \| _p}.

在 p = 1 且 p=\infty 的情况下，其范数可以以下方式计算：

\begin{align} & \left \| A \right \| _1 = \max \limits _{1 \leq j \leq n} \sum _{i=1} ^m | a_{ij} | \\ & \left \| A \right \| _\infty = \max \limits _{1 \leq i \leq m} \sum _{j=1} ^n | a_{ij} | . \end{align}

这些与矩阵的 Schatten p-范数不同, 也可以用 \left \| A \right \| _p . 来表示。

若满足 p = 2（欧几里德范数）且 m = n（方阵）此两特殊情况时，诱导的矩阵范数就是“谱范数”。矩阵 A 的谱范数是 A 最大的奇异值或半正定矩阵 A*A 的最大特征值的平方根：

\left \| A \right \| _2=\sqrt{\lambda_{\text{max}}(A^* A)}

其中 A* 代表 A 的共轭转置 。

任何矩阵范数满足此不等式

\left \| A \right \| \ge \rho(A),

其中 ρ(A) 是 A 的谱半径。事实上，可以证明 ρ(A) 是 A 的所有诱导范数的下界。

此外，我们有

\lim_{r\rarr\infty}\|A^r\|^{1/r}=\rho(A).

矩阵元范数

这些向量范数将矩阵视为 m \times n 向量，并使用类似的向量范数。

举例说明，使用向量的 p-范数，我们得到：

\Vert A \Vert_{p} = \Big( \sum_{i=1}^m \sum_{j=1}^n |a_{ij}|^p \Big)^{1/p}. \,

注：不要把矩阵元 p-范数与诱导 p-范数混淆。

弗罗贝尼乌斯范数

对 p = 2，这称为弗罗贝尼乌斯范数（Frobenius norm）或希尔伯特-施密特范数（Hilbert–Schmidt norm），不过后面这个术语通常只用于希尔伯特空间。这个范数可用不同的方式定义：

\|A\|_F=\sqrt{\sum_{i=1}^m\sum_{j=1}^n |a_{ij}|^2}=\sqrt{\operatorname{trace}(A^{​{}^*} A)}=\sqrt{\sum_{i=1}^{\min\{m,\,n\}} \sigma_{i}^2}

这里 A* 表示 A 的共轭转置，σiσ�σi��是 A 的奇异值，并使用了迹函数。弗罗贝尼乌斯范数与K^{n}}K^{n}}上欧几里得范数非常类似，来自所有矩阵的空间上一个内积。

弗罗贝尼乌斯范数是服从乘法的且在数值线性代数中非常有用。这个范数通常比诱导范数容易计算。

极大范数

极大范数是 p=∞ 的元素范数，

\|A\|_{max}=\max\{|a_{ij}|\}.

这个范数不服从乘法。

Schatten 范数

更多资料：Schatten范数

Schaten 范数出现于当 p-范数应用于一个矩阵的奇异值向量时。如果奇异值记做 σi， 则 Schatten p-范数定义为

\|A\|_p = \Big( \sum_{i=1}^{\min\{m,\,n\}} \sigma_i^p \Big)^{1/p}. \,

这个范数与诱导、元素 p-范数使用了同样的记号，但它们是不同的。

所有 Schatten 范数服从乘法。它们也都是酉不变的，这就是说 ||A|| = ||UAV|| 对所有矩阵 A 与所有酉矩阵 U 和 V。

最常见的情形是 p = 1, 2, ∞。p = 2 得出弗罗贝尼乌斯范数，前面已经介绍过了。p = ∞ 得出谱范数，这是由向量 2-范数诱导的矩阵范数（见下）。最后， p = 1 得出迹范数，定义为

\|A\|_{\text{tr}} =\operatorname{trace}(\sqrt{A^*A})=\sum_{i=1}^{\min\{m,\,n\}} \sigma_{i}.

一致范数

一个 K^{m \times n} 上矩阵范数 \| \cdot \|_{ab} 称为与Kn上向量范数 \| \cdot \|_{a} 以及 Km上向量范数 \| \cdot \|_{b} 一致，如果

\|Ax\|_b \leq \|A\|_{ab} \|x\|_a

对所有 A \in K^{m \times n}, x \in K^n。根据定义，所有诱导范数是一致范数。

范数的等价

对任何两个向量范数 ∥⋅∥α  and ∥⋅∥β，我们有

r\left\|A\right\|_\alpha\leq\left\|A\right\|_\beta\leq s\left\|A\right\|_\alpha

对某个正数 r 与 s，K^{m \times n} 中所有矩阵 A 成立。换句话说，它们是等价的范数；它们在 K^{m \times n} 上诱导了相同的拓扑。

此外，当 A\in \mathbb{R}^{n\times n}，则对任何向量范数 ||·||，存在惟一一个正数 k 使得 k||A|| 是一个（服从乘法）矩阵范数。

一个矩阵范数 ∥⋅∥α称为“极小的”，如果不存在其它矩阵范数 ∥⋅∥β 满足 ∥⋅∥β ≤ ∥⋅∥α 。

范数等价的例子

对矩阵 A\in\mathbb{R}^{m\times n} 如下不等式成立[1][2]：

  • \|A\|_2\le\|A\|_F\le\sqrt{n}\|A\|_2
  • \|A\|_{\text{max}} \le \|A\|_2 \le \sqrt{mn}\|A\|_{\text{max}}
  • \frac{1}{\sqrt{n}}\|A\|_\infty\le\|A\|_2\le\sqrt{m}\|A\|_\infty
  • \frac{1}{\sqrt{m}}\|A\|_1\le\|A\|_2\le\sqrt{n}\|A\|_1

这里，||·||p 表示由向量 p-范数诱导的矩阵范数。

向量范数之间另一个有用的不等式是

\|A\|_2\le\sqrt{\|A\|_1\|A\|_\infty}.

参考资料

  1. ^ Golub, Gene; Van Loan, Charles F., Matrix Computations. 3rd, Baltimore: The Johns Hopkins University Press. 1996:  56-57, ISBN 0-8018-5413-X
  2. ^ Horn, =Roger; Johnson, Charles, Matrix Analysis, Cambridge University Press. 1985, ISBN 0-521-38632-2
  1. Douglas W. Harder, Matrix Norms and Condition Numbers [1]
  2. James W. Demmel, Applied Numerical Linear Algebra, section 1.7, published by SIAM, 1997.
  3. Carl D. Meyer, Matrix Analysis and Applied Linear Algebra, published by SIAM, 2000. [2]