矩阵论 第四章 矩阵分析(1) 范数

简介:

这章主要讲的是矩阵函数.


1. 范数

一.

平时说的绝对值就是一种范数.

范数也就是绝对值概念的扩展,目的是用某种方法衡量一个矢量的度量. 比如二维坐标的长度.

范数的定义:

设V是数域F上的线性空间,若任意x∈V, 均对应一个数||x||满足:

  1. 正定性: ||x||≥0, 且 ||x||=0当且仅当x=0;
  2. 齐次性: 任意k∈F, x∈V, ||kx|| = |k| ||x||;
  3. 三角不等性: 任意x,y∈V, 有 ||x+y|| ≤ ||x||+||y||.

则称V为赋范线性空间, ||x|| 称为x的范数. 以上也是范数的三条公理. 一般讨论为有限维空间.


常见的范数有: 1范数(向量每个元素的绝对值之和), 无穷范数(向量元素中绝对值最大的元素的绝对值), 2范数(所有元素绝对值的平方和的1/2次方, 即酉空间由内积诱导的范数.)

p-范数是: 把2范数里的平方换成p次方, 最后1/2换成1/p次方,即是p-范数. 根据定义即可证明它们满足范数条件.


两个泛函分析中的基本不等式:

Holder不等式: 设p,q>1, 且 1/p + 1/q = 1, 则任意x,y∈V, 有: Σ(i=1,n)|xi * yi| ≤ x的p-范数 * y的p范数.

Minkowski不等式: 对p≥1, 有: x+y的p范数 ≤ x的p范数 + y的p范数.


等价: 任意两种范数a,b, 如果存在正数k1和k2, 使得任意x∈V都有 k1||x||(a范数) ≤ ||x||(b范数) ≤ k2||x||(a范数), 则称a和b等价.

有限维线性空间中的任何两种范数都是等价的.


收敛: 设 x1,x2,…xm, …是V中的元素序列, 若存在 x ∈V,使得 lim(m→∞) ||xm – x ||(a范数) =0, 则称序列{xm} 按a-范数收敛于x.

由于有限维V中任意两种范数等价,所以若{xm}按某一范数收敛于x0,则按任何范数收敛于x0. 


二.

矩阵的范数:

把向量的范数移植到矩阵上,有以下定义:

若对任意m x n阶矩阵 A∈C, 都有实数与之对应, 记||A||, 且满足: 正定,齐次,三角不等性, 则称||A||是矩阵A的向量范数或广义矩阵范数.

考虑到矩阵的乘法运算, 添加一个条件得到定义:

若对任意n x n阶方阵 A∈C, 都有实数与之对应, 记||A||, 且满足: 正定,齐次,三角不等, 相容性(任意A,B, ||AB|| ≤ ||A|| ||B||), 则称||A||是矩阵A的矩阵范数(或乘积范数).


矩阵的Frobenius范数(F-范数): 

方阵A, 则||A||(F-范数) = ( Σ|aij|² )^1/2 = (tr(A^H A))^1/2 .

F-范数有很多良好的性质.

1)设 A是n x n方阵, x是n维向量, 则 ||Ax||(2范数) ≤ ||A||(F-范数) ||x||(2范数);

2)任意酉阵 U,V,  则对方阵A有: ||UA||(F范数) = ||AV||(F范数) = ||A||(F范数).


三. 

向量范数与矩阵范数的相容:(这里省略括号里的范数两个字了..)

相容: 若对任意方阵A和向量x, 向量范数||x||(v)与矩阵范数||A||(m)满足不等式: ||Ax||(v) ≤ ||A||(m) ||x||(v), 则称矩阵范数和向量范数是相容的.

任意两种矩阵范数都是等价的,任意两种向量范数也是等价的. 那么任意给定矩阵范数,是否存在与之相容的向量范数? 反过来呢?

1) 设||A||是C上的一个矩阵范数,则C上必存在一个与之相容的向量范数.

2) 设||x||(v)是C上的一个向量范数, 则对任意A, 定义||A|| = max(||x||(v) = 1) ||Ax||(v), 则||A||是一个与||x||(v)相容的矩阵范数. 称此矩阵范数为从属于向量范数||x||(v)的算子范数.

对任意A和x, 从属于向量x的三种范数:1范数,2范数,无穷范数 的算子范数依次为: ||A||(1) 列范数(每列元素绝对值之和的最大值), ||A||(2) 谱范数(A^H A 的最大特征值的1/2次方), ||A||(∞) 行范数(每行元素绝对值之和的最大值).

- ||A||(F)和||x||(2)是相容的, ||A||(2) 与||x||(2) 当然也相容, 但||A||(2)≤||A||(F).

- 若存在常数M, 使得对任意x 有 ||Ax||(a范数) ≤ M||x||(a范数), 则 ||A||(a范数) ≤ M. 也就是说,向量范数||x||(a)的对应算子范数||A||(a)是使第一个不等式成立的最小M .

- 一般,算子范数的计算很复杂,没有通用计算方法.


四.

一些定理和应用:

1) 方阵A, ||A||是矩阵范数, 若||A||<1, 则 I – A非奇异,且 ||(I – A)^-1 || ≤ ||I|| / (1-||A||) .

2) A的n个特征值中模最大的称为A的谱半径. A的谱半径不大于A的任何一种矩阵范数. 

3) 任意实数e>0, 存在A的某种范数 < A的谱半径+e.

目录
相关文章
|
10月前
|
容器
数学|泊松分酒问题蕴藏的数学知识
数学|泊松分酒问题蕴藏的数学知识
127 0
导数的概念——“高等数学”
导数的概念——“高等数学”
|
机器学习/深度学习 人工智能
机器学习数学基础二:泰勒公式与拉格朗日
首先我们先来回忆一下,在微分中的可微函数可局部线性化 ,这个概念可能现在听起来有些太专业了哈,实际上就是一个以直代曲的思想。
222 1
机器学习数学基础二:泰勒公式与拉格朗日
|
机器学习/深度学习
机器学习中矩阵求导法则
矩阵求导的本质上就是矩阵中元素对元素的求导,只是将其按照矩阵的形式进行一些规范化的写法罢了
90 0
|
机器学习/深度学习
深度之眼(十八)——偏导数与矩阵的求导
深度之眼(十八)——偏导数与矩阵的求导
162 0
深度之眼(十八)——偏导数与矩阵的求导
|
人工智能 开发者
泰勒公式出发点 | 学习笔记-
快速学习泰勒公式出发点
73 0
|
算法 C++
算法基础系列第四章——数论之从欧拉卷到欧几里得(2)
算法基础系列第四章——数论之从欧拉卷到欧几里得(2)
62 0
算法基础系列第四章——数论之从欧拉卷到欧几里得(2)
|
算法 C++
算法基础系列第四章——数论之从欧拉卷到欧几里得(1)
算法基础系列第四章——数论之从欧拉卷到欧几里得(1)
102 0
算法基础系列第四章——数论之从欧拉卷到欧几里得(1)
凸优化理论基础3——凸集和凸锥重要例子
凸优化理论基础3——凸集和凸锥重要例子
854 0
凸优化理论基础3——凸集和凸锥重要例子
|
机器学习/深度学习 搜索推荐 计算机视觉
【机器学习中的矩阵求导】(九)矩阵论大复习
kron(A,B) 是通过获取 A 元素与矩阵 B 元素之间的所有可能积而形成的一个 mp×nq 矩阵。 先来看一个Python实现Kronecker积等。可以参考numpy的官方文档。
405 0
【机器学习中的矩阵求导】(九)矩阵论大复习