HuggingFace学习3:加载预训练模型完成机器翻译(中译英)任务

加载模型页面为:https://huggingface.co/liam168/trans-opus-mt-zh-en

文章目录

  • 整理文件
  • 跑通程序,测试预训练模型
  • 拆解Pipeline,逐步进行翻译任务

整理文件

首先下载模型所需的全部文件:https://huggingface.co/liam168/trans-opus-mt-zh-en/tree/main,将文件全部下载到本地,命名为trans_model

然后创建一个调用模型的python程序文件:use_translate.py

整个文件结构如下:
在这里插入图片描述

跑通程序,测试预训练模型

use_translate.py文件中写入:

from transformers import AutoModelWithLMHead, AutoTokenizer, pipelinemode_name = "trans_model"
model = AutoModelWithLMHead.from_pretrained(mode_name)
tokenizer = AutoTokenizer.from_pretrained(mode_name)
translation = pipeline("translation_zh_to_en", model=model, tokenizer=tokenizer)
translate_result = translation('自然语言处理的技术之一:机器翻译', max_length=400)
print(translate_result)
# [{'translation_text': 'One of the technologies for natural language processing: machine translation'}]

如果控制台输出:

[{'translation_text': 'One of the technologies for natural language processing: machine translation'}]

则说明模型是通的,都没有问题

拆解Pipeline,逐步进行翻译任务

from transformers import AutoModelWithLMHead, AutoTokenizer# 加载预训练模型
mode_name = "trans_model"
model = AutoModelWithLMHead.from_pretrained(mode_name)
tokenizer = AutoTokenizer.from_pretrained(mode_name)# 开始翻译
text = "自然语言处理的技术之一:机器翻译"# 步骤1:将文本变为token,返回pytorch的tensor
tokenized_text = tokenizer.prepare_seq2seq_batch([text], return_tensors='pt')
# 也可以使用:
# tokenized_text = tokenizer([text], return_tensors="pt")# 步骤2:通过模型,得到预测出的token
translation = model.generate(**tokenized_text)  # 执行翻译,返回翻译后的tensor# 步骤3:将预测出的token转为单词
translated_text = tokenizer.batch_decode(translation, skip_special_tokens=True)
print(translated_text)

输出:

['One of the technologies for natural language processing: machine translation']

因此我们可以发现,整体的流程是:

  1. 将原始中文文本变为token
  2. 通过模型,得到预测出的token(对应英文的token)
  3. 将预测出的token转为英文单词

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/33187.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

有没有什么好用的汉译英的学术翻译软件推荐(医学sci方面)?

有学医的小伙伴吗?快看过来! 我们都知道,医学生是非常辛苦的,不仅专业课特别繁多,需要记忆的知识内容多,而且对实践技能要求也很高,试错成本极低,这就要求医学生们在平时的学习中要…

数据平台投标方案模板

随着信息化程度的加深,以及移动互联网、物联网的崛起,人们产生的数据急剧膨胀,传统的数据处理技术难以支撑数据大量的增长和处理能力。经过近几年的发展,大数据技术逐步成熟,可以帮助企业整合更多的数据,从…

训练软件类项目投标文件示例

原创不易,公开部分自取自用,如需全文支持(可定制),私信留言 系统概述 由于各项目需求和背景的差异性,此处主要根据项目自身系统功能,背景及意义进行描述。 1.1设计思路 各项目需求和背景的差异…

企企通:采购方怕投标方串通“围标”,怎么办?电子招投标来帮你

大家都知道,在采购过程中,招投标是一个很重要的环节。 传统的招投标过程中,虽然采供双方角色不一样,但面对的烦恼却是大同小异。 采购方需要进行繁琐的手工操作,包括招标文件的印刷、邮寄、收发等步骤,供应…

招标采购中,如何编写有效的RFI(信息邀请书)?

在企业招标采购过程中,RFI(信息邀请书)是一个从商品或服务的潜在供应商处收集信息的正式流程。RFI旨在由客户编写并发送给潜在供应商。RFI通常是第一个也是最广泛的一系列请求,旨在缩小潜在供应商候选人名单。 当企业对潜在供应…

产品经理 | 职业选择及面试技巧

产品经理职业规划及面试技巧 什么是产品经理产品经理分类产品经理能力要求产品经理如何求职面试?简历部分技巧面试复盘 什么是产品经理 转岗或入行前,对产品经理的认知是最基础的。 产品经理是解决问题的解题者,在解题的过程中,…

产品经理

2015年已经来到石榴如火的5月,没错,小半年就快过去了。很多同学正在毕业找工作,也有些同学在准备着2015的暑期实习。而进入4A、BAT、500强是很大部分营销和传媒人的选择。在求职或求实习的过程中,你一定希望看到前辈们的实际求职经…

【干货】产品经理面试指南(完整版)

原文地址:http://www.woshipm.com/zhichang/143525.html 这篇文章是我之前在准备2014年8月份的腾讯产品培训生招聘时写的(我靠,这句话感觉有语病。。。)。因为种种原因失利后,原本打算将这篇文章带进坟墓_。犹豫了好久…

简历推荐_26位AI产品经理

现在行业内,各家AI公司都很希望招募“来之能战”的AI产品经理,今天,介绍26位近期看机会的AI产品经理的亮点信息,获取简历方式,详见后文。 一、这26位AI产品经理的整体情况 1、业务领域涉及关键词:虚拟人/AI…

产品经理|HR都夸赞的简历

作为10年限的HR,看了大量的简历,但是真正会写简历的没有几个…你说遗憾不遗憾呀? 据X联平台说,92%的人不会写简历,你想成为那8%的人吗? 今天给大家分享简历的组织模块: ️基本信息&#xff1…

产品经理|市场分析

产品经理|如何进行高效地市场分析? 完成市场调研与竞品分析是一位产品经理的基本能力,能否准确定位好具有市场竞争力的产品显得尤为的重要。一份好的市场分析报告,是一个产品能否成功的基础。 文章目录 产品经理|如何进行高效地市场分析&…

就业喜报:转岗之后发现,太喜欢产品经理这个岗位了!

​ 就业就业情况 前工作岗:技服 工作年限:9年 所在城市:青岛 转岗岗位:中级产品经理(I级) 公司类型:集团公司 负责产品:电商平台 转岗工资:11-13K 转岗特点 9年技…

一名优秀的产品经理

摘要: 如今,用户体验这个词已经渗透到越来越多的行业,贯穿于整个企业的研发、推广和市场运作。例如,买 iPhone,从打开包装盒的一刹瞬间;到海底捞吃货,从热情洋溢的引座员接待你的那一刻,体验之…

关于产品经理的简历和面试,我的 20 个建议

关于简历和面试,我曾经记录过一些观点,今天拿出来又补充了一些。 总共 20 个建议,与你分享,供你参考。 关于简历 1、我始终认为,再牛X的人,简历也可以用一张 A4 纸承载。所以我不太建议动辄好几页纸的简历。…

招聘公司喜欢这样的程序员和产品经理

在求职越来越困难的当下,想要脱颖而出,就必须得合拍。 时刻会心一击,你就是公司想要的人 请看下面示例: 1.程序员 - - - -错误示范- 2.产品经理 - - - -错误示范- 段子纯属娱乐,打铁还得自身硬,提升自己能力…

产品经理如何写出一看就想约的简历

2010年工商管理专业毕业后怀揣着一份商业计划书(农业方面)前往北京找投资,兜兜转转了4个月后折戟而归; 之后进入中兴通讯旗下子公司做开放平台运营(类似于豌豆荚和应用宝),1年后进入电信天翼空间…

chatgpt赋能python:Python数据:从入门到实战

Python数据:从入门到实战 Python是一种被广泛使用的高级编程语言,它以简单、易学、可读性强、易于扩展等特点受到开发人员的欢迎。随着数据科学的兴起,Python也成为了数据科学中的一种流行工具。本文将介绍Python数据处理中的一些重要知识点…

chatgpt赋能python:Python编写股票买卖程序:一场AI技术的革命

Python编写股票买卖程序:一场AI技术的革命 在如今日益风起云涌的AI大潮中,股票买卖程序的开发也已不是什么新鲜事物。然而,Python的出现为这一领域带来了一场技术革命。本文将重点介绍Python编写股票买卖程序的方法,并分析其相对…

chatgpt赋能python:Python长连接详解:优化用户体验和节约资源的有效方式

Python长连接详解:优化用户体验和节约资源的有效方式 Python语言具备多样性和灵活性,是内容和功能极其丰富的一种编程语言。对于网站或者应用程序的开发,在Python语言的基础上可以实现长连接,优化用户体验和节约资源,…