|| 。||是什么?
∥ ⋅ ∥ 2 2 \|\cdot\|_2^2 ∥⋅∥22 是向量或矩阵的 欧几里得范数(Euclidean norm) 的平方。
1. 什么是欧几里得范数?
对于向量 v = [ v 1 , v 2 , … , v n ] T \mathbf{v} = [v_1, v_2, \dots, v_n]^T v=[v1,v2,…,vn]T,其欧几里得范数定义为: ∥ v ∥ 2 = v 1 2 + v 2 2 + ⋯ + v n 2 . \|\mathbf{v}\|_2 = \sqrt{v_1^2 + v_2^2 + \dots + v_n^2}. ∥v∥2=v12+v22+⋯+vn2.
欧几里得范数也被称为 L2范数,表示向量在欧几里得空间中的长度(或模)。
- ∥ v ∥ 2 2 \|\mathbf{v}\|_2^2 ∥v∥22 则是欧几里得范数的平方: ∥ v ∥ 2 2 = v 1 2 + v 2 2 + ⋯ + v n 2 . \|\mathbf{v}\|_2^2 = v_1^2 + v_2^2 + \dots + v_n^2. ∥v∥22=v12+v22+⋯+vn2.
2. 举例
向量范数 假设 v = [ 3 , 4 ] \mathbf{v} = [3, 4] v=[3,4],则: ∥ v ∥ 2 = 3 2 + 4 2 = 9 + 16 = 5. \|\mathbf{v}\|_2 = \sqrt{3^2 + 4^2} = \sqrt{9 + 16} = 5. ∥v∥2=32+42=9+16=5. ∥ v ∥ 2 2 = 3 2 + 4 2 = 9 + 16 = 25. \|\mathbf{v}\|_2^2 = 3^2 + 4^2 = 9 + 16 = 25. ∥v∥22=32+42=9+16=25.
3. 矩阵的范数
对于矩阵 A ∈ R m × n \mathbf{A} \in \mathbb{R}^{m \times n} A∈Rm×n,其欧几里得范数通常定义为: ∥ A ∥ 2 = ∑ i , j A i j 2 . \|\mathbf{A}\|_2 = \sqrt{\sum_{i,j} A_{ij}^2}. ∥A∥2=i,j∑Aij2.
矩阵的范数也可以是 Frobenius 范数(欧几里得空间的矩阵扩展),计算方式类似于将矩阵展平成一个向量的欧几里得范数: ∥ A ∥ F = ∑ i = 1 m ∑ j = 1 n A i j 2 . \|\mathbf{A}\|_F = \sqrt{\sum_{i=1}^m \sum_{j=1}^n A_{ij}^2}. ∥A∥F=i=1∑mj=1∑nAij2.
平方形式为: ∥ A ∥ F 2 = ∑ i = 1 m ∑ j = 1 n A i j 2 . \|\mathbf{A}\|_F^2 = \sum_{i=1}^m \sum_{j=1}^n A_{ij}^2. ∥A∥F2=i=1∑mj=1∑nAij2.
4. 在公式中的意义
在优化目标中, ∥ ⋅ ∥ 2 2 \|\cdot\|_2^2 ∥⋅∥22 通常用于表示两个向量或矩阵之间的平方差(L2损失)。例如: ∥ μ θ − μ q ∥ 2 2 = ( μ θ − μ q ) T ( μ θ − μ q ) , \|\mu_\theta - \mu_q\|_2^2 = (\mu_\theta - \mu_q)^T (\mu_\theta - \mu_q), ∥μθ−μq∥22=(μθ−μq)T(μθ−μq), 这表示向量 μ θ \mu_\theta μθ 和 μ q \mu_q μq 在欧几里得空间中的平方距离,用于衡量它们的差异。
5. 总结
- ∥ v ∥ 2 2 \|\mathbf{v}\|_2^2 ∥v∥22 是向量元素平方的和,表示平方距离。
- 在优化中, ∥ ⋅ ∥ 2 2 \|\cdot\|_2^2 ∥⋅∥22 常用来表示平方误差,特别是在 L2 损失函数中。