有用大佬们点点赞
1、两个一维向量点积 ,求 词A 与 词A 之间的关联度
2、两个词向量之间求关联度,求 :
词A 与 词A 的关联度 =5
词A 与 词B 的关联度 = 11
词B 与 词A 的关联度= 11
词B 与 词B 的关联度= 25
刚刚好和矩阵乘法符合:
3、什么是矩阵乘法,举个例子
重点结论:矩阵乘法就是 求 词向量 与 词向量转置 之间的点积的集合,为什么是转置,注意要是把上面第二个矩阵当词向量的话,[5, 7]和[6, 8]分别是一个词向量。而不是 [5, 6]和[7, 8]。
3、如果是三维矩阵的点乘呢
重点结论:三维矩阵点乘就变成单独的二维矩阵进行点乘,所以点乘最多体现在二维矩阵,二维矩阵单独求点乘,求完再合并。
最终结论:点积和点乘没有关联性,但是点乘在特定场景下可以实现批量点积,有助于我们利用点乘的特性来批量求词与词之间的点积(关联性),在自注意力的时候可以使用。
试验代码:
一维向量点乘这样写会报错
import torch# 定义两个二维矩阵
A = torch.tensor([[1, 2]])
B = torch.tensor([[1, 2]])# 使用 matmul 计算展平向量的点积
dot_product = torch.matmul(A, B)print(dot_product)
正确一维向量点乘
import torch# 定义两个二维矩阵
A = torch.tensor([[1, 2]])
B = torch.tensor([[1], [2]])# 使用 matmul 计算展平向量的点积
dot_product = torch.matmul(A, B)print(dot_product)
二维矩阵点乘
import torch# 定义两个二维矩阵
A = torch.tensor([[1, 2], [3, 4]])
B = torch.tensor([[1, 3], [2, 4]])# 使用 matmul 计算展平向量的点积
dot_product = torch.matmul(A, B)print(dot_product)
三维矩阵点乘
import torch# 定义两个二维矩阵
A = torch.tensor([[[1, 2], [3, 4]],[ [1, 2], [3, 4]]])
B = torch.tensor([[[1, 3], [2, 4]],[ [1, 3], [2, 4]]])# 使用 matmul 计算展平向量的点积
dot_product = torch.matmul(A, B)
print(dot_product)
点积应该这样写
import torchvector_a = torch.tensor([1, 2, 3])
vector_b = torch.tensor([4, 5, 6])# 计算点积
dot_product = torch.dot(vector_a, vector_b)print(f"向量 A: {vector_a}")
print(f"向量 B: {vector_b}")
print(f"A 和 B 的点积: {dot_product}")
下面会报错,二维数组不可以点积
import torchvector_a = torch.tensor([[1, 2, 3],[1, 2, 3]])
vector_b = torch.tensor([[1, 2, 3],[1, 2, 3]])# 计算点积
dot_product = torch.dot(vector_a, vector_b)print(f"向量 A: {vector_a}")
print(f"向量 B: {vector_b}")
print(f"A 和 B 的点积: {dot_product}")
所以点积和点乘不是一个东西,只是点乘在某些场景下可以代表批量点积而已。