Python 文本处理和语义分析2 使用m3e对文本向量化

说明

向量化将会是下一阶段演进的目标。

在过去的实践中，向量或者矩阵其实是最贴近工具端的。

以sklearn为例，虽然原始数据可能还是自然语言，但是在最终执行 fit或者predict之前，数据一般都转为了矩阵形态(numpy)。也就是说，在pandas(原始数据)和最终结果(predict result)之间，是(短暂且必然)存在过矩阵的。

后来，应该是有过类似以图搜图类的应用，向量化且持久化在数据库中开始兴起。

之后，大规模向量化且持久化是从大语言模型爆火开始的：因为大量的中间结果需要重算(为向量),那么不如将中间结果固定住，需要的时候调用存储就可以了。

所以一个明显的趋势是，如果某项业务需要长期的演进，就需要大量的迭代计算。这些计算很难直接在原始数据上进行，所以将原始数据保存为向量既是一种规范(即进行特征与计算机语言的转译)，同时也是迭代计算的前提。其重要性和必要性应该无需再进行讨论。

在当前的工作中，我恰好需要对文本进行更深入的处理 ，所以借着机会，边做边梳理。

PS: 大约在几年前，甚至我开始用Bert时，我并没有意识到这个领域的突破会如此具有开创性,我认为至少相当长一段水平，这个领域会保持在差不多的状态。所以过去我一直是抱着以用为主，适当了解的心态做这个领域的事。现在这个观念转变了，以transformer结构为基础的深度学习已经证明可以做到足够商业化的效果。对这个领域进行深入的研究和开发–即使是从现在开始–也会带来巨大的收益。

内容

1 word2vec

早前有整理过word2vec的一些资料(之后要review)，这里只是把基本的概念稍微强化一下。

在这里插入图片描述
首先，在2018年以前，word2vec还算是比较主流的，是不是bert的出现撼动了它的地位？

在这里插入图片描述
其次，word2vec的思想，也就是将单词转为向量，且可进行语义度量(近义词距离近，反义词距离远)应该还是一个比较不变的。

2 m3e

先来看一些实际的使用/测试结果。

首先下载模型包 m3e-base
在这里插入图片描述
然后安装一个包
!pip3 install sentence_transformers -i https://mirrors.aliyun.com/pypi/simple/

假设我现在有3个query和3个answer，我需要对它们分别进行转换，然后计算他们之前的距离(相似度)。

先导入包，并对查询进行向量转换

from sentence_transformers import SentenceTransformer
model = SentenceTransformer('m3e-base',cache_folder="./m3e-base")
questions = ['存文件', '读取文件','排序']
embeddings = model.encode(questions)
array([[-0.04188242,  0.8120958 ,  0.75951165, ..., -0.7462918 ,-0.37102422, -1.1583616 ],[-0.18861888,  0.45038733,  0.7915643 , ..., -0.8806971 ,-0.35007524, -0.9292178 ],[-0.3631838 ,  0.10787209,  0.55987704, ..., -1.1905028 ,-1.2330985 , -0.6836705 ]], dtype=float32)

然后对答案也进行向量转换

answer1 = '''import json
# 文件的路径+名称 -> json字符串
def read_file_as_json(fpath = None ):# 读取一个文件with open(fpath, 'r') as f:content = f.read()json_content = json.dumps(content)return json_content'''
answer2 = '''import json
# 存一个文件
def write_json_to_file(json_str = None, fpath = None):rev_content = json.loads(json_str)with open(fpath, 'w') as f:f.write(rev_content)return True 
'''
answer3 = '''import json
# 字符串到文件
def write_str_to_file(some_str = None, fpath = None):json_str = json.dumps(some_str)write_json_to_file(json_str, fpath)
'''answers = [answer1, answer2, answer3]
res_embeddings = model.encode(answers)

假设现在计算最符合第一个查询的结果，对应的向量是embeddings[0], 对应的原始查询是「存文件」

import numpy as np
# 计算欧几里得距离
distance1 = np.linalg.norm(embeddings[0] - res_embeddings[0])
distance2 = np.linalg.norm(embeddings[0] - res_embeddings[1])
distance3 = np.linalg.norm(embeddings[0] - res_embeddings[2])
print("欧几里得距离:", distance1,distance2, distance3 )
欧几里得距离: 14.339659 12.545303 13.624656

看起来与第二个答案的向量最为相似，里面有’存…文件’的类似文本。

如果要并发执行距离计算，那么通过

# 一次计算欧式距离
distances = np.linalg.norm(embeddings[0]-res_embeddings, axis=1)
array([14.339659, 12.545303, 13.624656], dtype=float32)

如果answer集合的向量特别大，那么可以通过类似milvus这样的向量数据库完成查询。其实本质上也就是分布式并行计算向量。

这算是完成向量转换与相似性计算的使用验证。

整体上说使用还算是比较简单，效果也不错。但是在使用GPU计算上比较麻烦，反正我按说明试着搞了一下，但是还是没成功，也就算了。实际在使用CPU计算速度也还可以，这倒是说明了向量转换这步的计算开销并没有那么大，在工业量产上是可行的。未来自己再开发一版模型就好了。

再测试一下对于长本文的支持，以下是一段测试文本，长度大约为1000

test_txt ='''根据提供的接口文档，ESIO（Elastic Search IO）是用于存储和搜索元数据的服务，它提供了一系列接口来执行数据的存储、查询和删除操作。以下是文档中提到的主要接口和功能的简要说明：### 1. 功能简述ESIO提供数据的存储和查询功能，主要包括以下操作：- 连通性测试：通过访问`/info/`接口来测试服务是否可用。
- 状态检查：通过访问`/stat/`接口查看当前数据库的状态。
- 存一条记录：通过`/save_a_rec/`接口存储一条记录。
- 匹配查询：使用词进行匹配查询，例如按照"first_name"字段进行匹配查询。
- 短语查询：使用短语进行查询，例如要同时满足"rock climbing"短语存在才返回。### 2. 部署方式ESIO依赖ES数据库，使用一键部署方式部署。您可以执行提供的脚本来完成部署。请注意，文档中提供的脚本可能已经过时，因此建议根据实际情况进行调整。### 3. 请求说明文档中提供了不同类型的请求说明，包括：- 连通性测试：通过访问`/info/`接口来测试连接。
- 状态检查：通过访问`/stat/`接口查看数据库状态。
- 存储记录：使用`/save_a_rec/`接口存储一条记录。
- 匹配查询：使用词进行匹配查询，例如按照"first_name"字段进行匹配查询。
- 短语查询：使用短语进行查询，例如要同时满足"rock climbing"短语存在才返回。### 4. v1.1 丰富增删改查文档还提到了v1.1版本的功能增强，包括更多的增删改查操作。这些操作包括：- 创建记录：使用`create_a_rec_with_id`接口以主键存入一条记录。
- 覆盖存入记录：使用`index_a_rec_with_id`接口以主键覆盖存入一条记录。
- 删除记录：使用`del_a_rec_with_id`接口以主键删除一条记录。
- 获取记录：使用`get_a_rec_with_id`接口获取一条记录。
- 更新记录：使用`update_a_rec_with_id`接口以主键覆盖更新一条记录。
- 批量操作：使用`bulk_opr`接口实现批量操作，包括创建、删除、更新和索引。
- 批量获取：使用`mget_with_id_list`接口根据id批量获取记录。这些功能可以帮助用户进行更灵活的数据操作和管理。请注意，具体的请求和响应参数需要根据实际使用情况和数据结构进行配置。文档中提供了一些示例代码，可供参考。'''

在原始长度上乘以200倍，大约为20万字。

embeddings = model.encode([test_txt*200])

结果是仍然可以很快转为768维向量，测试结束。

3 关于m3e

既然m3e的向量化可以满足需求，这时候不妨回过头看看这个模型本身的信息。

在这里插入图片描述

可参考文章1

发布的公司：似乎是一家叫闻达的公司
适用的场景：主要是中文，少量英文的情况，支持文本相似度、文本检索
版本：base版的相对好
在这里插入图片描述
关于几类任务的表现

在这里插入图片描述
在这里插入图片描述
就目前而言，我更关注s2s的应用：相似度、重复、分类。

在这里插入图片描述
注意，这里提到了m3e是基于bert模型训练的。
在这里插入图片描述
联想到m3e的向量长度是768,和Bert一致，这说明了在这个长度上，应当足以应对一般的语言问题。当然，如果条件允许的话，用更长的向量应该也是ok的。768或者可以被视为一个下限。
在这里插入图片描述
另外transformer架构是成功的，bert和gpt两个家族都是基于这个基础架构衍生出来的。所以，我可以从这个架构开始仔细的研究，从头开始做。

现在重头开始做的最大好处是很多路都有人探过了，资料很多，不会走歪路。另外就是算力供应还算是不错，现在可以租算力搞。

另外，Bert家族的模型证明是比较轻的，容易并行化、工业化；GPT家族相对重一些，但是在一个较小的参数空间上也是可行的，例如6B模型，个人完全也可以搞。

最大的工作和价值则是在于：能不能对attention方法进行更有效的设计；能不能采用类似ensemable的方法，训练较多的小模型综合增强；能不能采用一个体系来进行流水线的生成；能不能采用更好的agent来进行自我调节。

所以下一步，就是开始实践，目标是可以完全自主的重头搭建完全可控的Bert和GPT类模型。

4 部署

4.1 本地镜像

目前本地算力不是那么充足，不过我还是将其作为一项基本任务将其完成，这样未来万一需要长期部署的时候可以省事。

在已有的pytorch镜像上修改,考入模型文件并建立tornado服务的文件

 m3e-base  server.py  server_funcs.py

server.py

from server_funcs import * 
import tornado.httpserver  # http服务器
import tornado.ioloop  # ?
import tornado.options  # 指定服务端口和路径解析
import tornado.web  # web模块
from tornado.options import define, options
import os.path  # 获取和生成template文件路径# 引入模型
from sentence_transformers import SentenceTransformer
model = SentenceTransformer('m3e-base',cache_folder="./m3e-base")app_list = []IndexHandler_path = r'/'
class IndexHandler(tornado.web.RequestHandler):def get(self):self.write('【GET】This is Website for Internal API System')self.write('Please Refer to API document')print('Get got a request test')# print(buffer_dict)def post(self):request_body = self.request.bodyprint('Trying Decode Json')some_dict = json.loads(request_body)print(some_dict)msg_dict = {}msg_dict['info'] = '【POST】This is Website for Internal API System'msg_dict['input_dict'] = some_dictself.write(json.dumps(msg_dict))print('Post got a request test')
IndexHandler_tuple = (IndexHandler_path,IndexHandler)
app_list.append(IndexHandler_tuple)M3EHandler_path = r'/m3e/'
class M3EHandler(tornado.web.RequestHandler):def get(self):self.write('【GET】文本向量化')self.write('Please Refer to API document')print('Get got a request test')def post(self):request_body = self.request.bodyinput_list = json.loads(request_body)res_list =  model.encode(input_list)self.write(json.dumps(res_list.tolist()))M3EHandler_tuple = (M3EHandler_path,M3EHandler)
app_list.append(M3EHandler_tuple)if __name__ == '__main__':#tornado.options.parse_command_line()apps = tornado.web.Application(app_list, **settings)http_server = tornado.httpserver.HTTPServer(apps)define('port', default=8000, help='run on the given port', type=int)http_server.listen(options.port)# 单核# 多核打开注释# 0 是全部核# http_server.start(num_processes=10) # tornado将按照cpu核数来fork进程# ---启动print('Server Started')tornado.ioloop.IOLoop.instance().start()

server_funcs.py

# 保留，用于提供server.py的引入
# 【引入时处于和GlobalFunc同级别的位置】import json
from json import JSONEncoder
class MyEncoder(JSONEncoder):def default(self, obj):if isinstance(obj, np.integer):return int(obj)elif isinstance(obj, np.floating):return float(obj)elif isinstance(obj, np.ndarray):return obj.tolist()if isinstance(obj, datetime):return obj.__str__()if isinstance(obj, dd.timedelta):return obj.__str__()else:return super(MyEncoder, self).default(obj)# 【创建tornado所需问文件夹】
import os 
# 如果路径不存在则创建
def create_folder_if_notexist(somepath):if not os.path.exists(somepath):os.makedirs(somepath)return Truem_static = os.path.join(os.getcwd(),'m_static')
m_template = os.path.join(os.getcwd(),'m_template')create_folder_if_notexist(m_static)
create_folder_if_notexist(m_template)settings = {
'static_path':m_static,
'template_path':m_template
}

调用

import requests as req questions = ['存文件', '读取文件','排序']res_list = req.post('http://127.0.0.1:8000/m3e/',json = questions).json()import numpy as np res_arr = np.array(res_list)

这样就完成了镜像准备，以后要用的时候起一个服务就可以了，这个服务只有一个功能：输入文本列表，返回向量列表。

4.2 外部部署

如果短时间有大量的需求，我更情愿使用弹性的算力来解决问题。

在这里插入图片描述
用自己的镜像打开一个新容器，root用户的秘钥已经允许m0主机和算网机登录，这样方便从m7拷贝模型文件过去。
其中 /root/autodl-tmp 是系统盘免费30G，/root/autodl-pub 是数据盘，免费50G。

ps: 我发现要用pytorch2.0的容器创建，所以之前的那个镜像不能用
在这里插入图片描述
步骤0：修改ssh
在.ssh下面增加秘钥，增加后即刻生效,然后立即禁用密码登录

vim /etc/ssh/sshd_config
PermitRootLogin prohibit-password
MaxAuthTries 6
ClientAliveInterval 60
ClientAliveCountMax 10
PasswordAuthentication no
RSAAuthentication yes
PubkeyAuthentication yes
MaxSessions 10

步骤1：将数据从m7拷贝到/root/autodl-tmp/

rsync -rvltz  -e 'ssh -p 18045'  --progress  /data/model_file/m3e-base root@connect.southb.gpuhub.com:/root/autodl-tmp/

步骤2：安装包pip3 install sentence_transformers -i https://mirrors.aliyun.com/pypi/simple/
步骤3：将server.py和server_funcs.py也拷贝到/root/autodl-tmp/目录下。
步骤4：启动服务。

┌─root@autodl-container-824347b459-10803d25:~/autodl-tmp
└─ $ python3 server.py
Server Started

autodl给了一个jupyter，可以测试
在这里插入图片描述
镜像是可以保存的，而且非常厚道，只算用户额外挂载的私有数据，等下次真的需要的时候再保存。
在这里插入图片描述

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.rhkb.cn/news/260181.html

如若内容造成侵权/违法违规/事实不符，请联系长河编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

MongoDB文档插入

MongoDB文档插入

文章目录 MongoDB文档插入对比增删改查文档插入 MongoDB写安全机制非确认式写入 MongoDB文档查询参数说明查询操作符比较查询操作符逻辑查询操作符元素查询操作符数组查询操作符 模糊查询区别:$regex操作符中的option选项 MongoDB游标介绍游标函数手动迭代游标示例游标介绍 Mon…
阅读更多...
韶音获36氪年度企业称号，开放式创新成年度焦点

韶音获36氪年度企业称号，开放式创新成年度焦点

近日,在36氪的商业之王大会上,年度开放式创新企业、年度新经济高成长企业等榜单揭晓,阿里云、保时捷、美的、蚂蚁集团、科大讯飞等纷纷上榜,而运动耳机的领导品牌Shokz韶音,以其在开放式/不入耳耳机领域深厚的积累,同样获奖。韶音运动舒适耳机新推出的爆款产品——不入耳蓝牙耳…
阅读更多...
2024国产中文免费版数据恢复软件EasyRecovery易恢复专业版

2024国产中文免费版数据恢复软件EasyRecovery易恢复专业版

EasyRecovery易恢复专业版是全球最好的数据恢复软间，文件恢复专家。EasyRecovery是一款操作安全、价格便宜、用户自主操作的非破坏性的只读应用程序，它不会往源驱上写任何东西，也不会对源驱做任何改变。它支持从各种各样的存储介质恢复删除或…
阅读更多...
软件实例分享，操作简单美发店会员登记记账本vip会员管理系统软件教程

软件实例分享，操作简单美发店会员登记记账本vip会员管理系统软件教程

软件实例分享，操作简单美发店会员登记记账本vip会员管理系统软件教程 一、前言 以下软件程序教程以 佳易王美发店会员管理系统软件V16为例说明 软件文件下载可以点击最下方官网卡片——软件下载——试用版软件下载 1、新会员可以直接使用手.机号，不需…
阅读更多...
202427读书笔记|《猫的自信：治愈系生活哲学绘本》——吸猫指南书，感受猫咪的柔软慵懒与治愈

202427读书笔记|《猫的自信：治愈系生活哲学绘本》——吸猫指南书，感受猫咪的柔软慵懒与治愈

202427读书笔记|《猫的自信：治愈系生活哲学绘本》——吸猫指南书，感受猫咪的柔软慵懒与治愈 《猫的自信：治愈系生活哲学绘本》作者林行瑞，治愈系小漫画绘本，10分钟可以读完的一本书，线条明媚，自…
阅读更多...
从零开始学习Netty - 学习笔记 - NIO基础 - ByteBuffer: 简介和基本操作

从零开始学习Netty - 学习笔记 - NIO基础 - ByteBuffer: 简介和基本操作

NIO基础 1.三大组件 1.1. Channel & Buffer Channel 在Java NIO（New I/O）中，“Channel”（通道）是一个重要的概念，用于在非阻塞I/O操作中进行数据的传输。Java NIO提供了一种更为灵活和高效的I/O处理方…
阅读更多...
【Redis,Java】Redis的两种序列化方式—nosql数据库

【Redis,Java】Redis的两种序列化方式—nosql数据库

redis和mysql的区别： redis是属于nosql的数据库，而mysql是属于sql数据库，redis是属于nosql数据库。mysql是存储在磁盘中的，redis是存储在内存中的，所以redis的读取书读快。这里所说的redis代表nosql，而mysq…
阅读更多...
【打工日常】使用docker部署可视化工具docker-ui

【打工日常】使用docker部署可视化工具docker-ui

一、docker-ui介绍 docker-ui是一个易用且轻量化的Docker管理工具，透过Web界面的操作，方便快捷操作docker容器化工作。 docker-ui拥有易操作化化界面，不须记忆docker指令，仅需下载镜像即可立刻加入完成部署。基于docker的特性&…
阅读更多...
数据分析 - 机器学习

数据分析 - 机器学习

1：线性回归 线性回归是一种统计技术用于对输出变量与一个或多个输入变量之间的关系进行建模 用外行人的话来说，将其视为通过某些数据点拟合一条线，如下所示 以便在未知数据上进行预测，假设变量之间存在线性关系 点和线之间存在微小…
阅读更多...
OpenCV中的边缘检测技术及实现

OpenCV中的边缘检测技术及实现

介绍: 边缘检测是计算机视觉中非常重要的技术之一。它用于有效地识别图像中的边缘和轮廓，对于图像分析和目标检测任务至关重要。OpenCV提供了多种边缘检测技术的实现，本博客将介绍其中的两种常用方法：Canny边缘检测和Sobel边缘检测。 理论介…
阅读更多...
MySQL5.7升级到MySQL8.0的最佳实践分享

MySQL5.7升级到MySQL8.0的最佳实践分享

一、前言 事出必有因，在这个月的某个项目中，我们面临了一项重要任务，即每年一次的等保测评整改。这次测评的重点是Mysql的一些高危漏洞，客户要求我们无论如何必须解决这些漏洞。尽管我们感到无奈，但为了满足客户的要求…
阅读更多...
Guitar Pro8最新版本版本有哪些功能更新？

Guitar Pro8最新版本版本有哪些功能更新？

Guitar Pro 8的最新版本相较于之前的版本，有以下显著的功能更新： 音频轨道功能：这是Guitar Pro 8中一个非常实用的新功能。用户现在可以在GTP文件中添加伴奏音轨，无论是人声还是完整的录音，都可以与编写的谱子同时播放…
阅读更多...
区块链革命：Web3如何改变我们的生活

区块链革命：Web3如何改变我们的生活

随着技术的不断发展，区块链技术作为一种去中心化的分布式账本技术，正逐渐成为数字世界的核心。Web3作为区块链技术的重要组成部分，正在引领着数字化时代的变革，其影响已经开始渗透到我们生活的方方面面。本文将深入探讨区块链革命…
阅读更多...
Maven属性scope

Maven属性scope

参考： maven 中 scope标签的作用（runtime、provided、test、compile 的作用） 【Maven】属性scope依赖作用范围详解 scope为provided
阅读更多...
python工具方法 45 基于ffmpeg以面向对象多线程的方式实现实时推流

python工具方法 45 基于ffmpeg以面向对象多线程的方式实现实时推流

1、视频推流 参考基于ffmpeg模拟监控摄像头输出rtsp视频流并opencv播放 实现视频流的推流。 其基本操作就是，安装视频流推流服务器，ffmpeg，准备好要推流的视频。 命令如下所示：ffmpeg -re -stream_loop -1 -i 风景视频素材分享.flv -c copy -f rtsp rtsp://127.0.0.1:554/…
阅读更多...
探索AI视频生成新纪元：文生视频Sora VS RunwayML、Pika及StableVideo——谁将引领未来

探索AI视频生成新纪元：文生视频Sora VS RunwayML、Pika及StableVideo——谁将引领未来

探索AI视频生成新纪元：文生视频Sora VS RunwayML、Pika及StableVideo——谁将引领未来 sora文生视频，探索AI视频生成新纪元 由于在AI生成视频的时长上成功突破到一分钟，再加上演示视频的高度逼真和高质量，Sora立刻引起了轰动。在S…
阅读更多...
瑞_23种设计模式_代理模式

瑞_23种设计模式_代理模式

文章目录 1 代理模式（Proxy Pattern）1.1 介绍1.2 概述1.3 代理模式的结构 2 静态代理2.1 介绍2.2 案例——静态代理2.3 代码实现 3 JDK动态代理★★★3.1 介绍3.2 代码实现3.3 解析代理类3.3.1 思考3.3.2 使用 Arthas 解析代理类3.3.3 结论 3.4 动态代理…
阅读更多...
19. 【Linux教程】nano 编辑器

19. 【Linux教程】nano 编辑器

前面小节介绍了如何使用 vim 编辑器，相比于 vim 编辑器，nano 编辑器就比较简单了。nano 是 UNIX 系统中的一个文本编辑器，大部分 Linux 发行版本默认都安装了 nano 文本编辑器。 和 vim 编辑器相比，nano 编辑器就没有那么强大&am…
阅读更多...
【算法】约瑟夫环问题解析与实现

【算法】约瑟夫环问题解析与实现

一、导言 约瑟夫环（Josephus Problem）是一个经典的数学问题，涉及一个编号为 1 到 n 的人围成一圈，从第一个人开始报数，报到某个数字 m 的人出列，然后再从下一个人开始报数，如此循环&#xff0c…
阅读更多...
阿里云服务器操作系统有哪些？如何选择？

阿里云服务器操作系统有哪些？如何选择？

阿里云服务器镜像怎么选择？云服务器操作系统镜像分为Linux和Windows两大类，Linux可以选择Alibaba Cloud Linux，Windows可以选择Windows Server 2022数据中心版64位中文版，阿里云服务器网aliyunfuwuqi.com来详细说下阿里云服务器操…
阅读更多...
最新文章
推荐文章

Copyright @ 2022~2023