Hugging face预训练模型下载和使用

Huggingface
Huggingface是一家公司,在Google发布BERT模型不久之后,这家公司推出了BERT的pytorch实现,形成一个开源库pytorch-pretrained-bert。后来这家公司又实现了其他的预训练模型,如GPT、GPT2、ToBERTa、T5等。此时,开源库的名字还叫pytorch-pretrained-bert就不太合适了,于是他们就将开源库的名字改成transformers,transformers包括各种模型的实现。

简而言之:Google发布的原始BERT预训练模型(训练好的参数)是基于Tensorflow的,Huggingface是基于pytorch的。

预训练模型下载

huggingface官网的这个链接:https://huggingface.co/models可以搜索到当前支持的模型,常用的预训练模型有以下几种:

BERT-Large, Uncased (Whole Word Masking)
语言种类:英文
网络结构:24-layer, 1024-hidden, 16-heads
参数规模:340M
BERT-Large, Cased (Whole Word Masking)
语言种类:英文
网络结构:24-layer, 1024-hidden, 16-heads
参数规模:340M
BERT-Base, Uncased
语言种类:英文
网络结构:12-layer, 768-hidden, 12-heads
参数规模:110M
BERT-Base, Cased
语言种类:英文
网络结构:12-layer, 768-hidden, 12-heads
参数规模:110M

  • Uncased和Cased:Uncased模型在WordPiece tokenization之前会转换成小写,如John Smith变为john smith. Uncased模型还会去除发音标记(accent markers).

  • Cased模型保留了大小写和发音标记。一般来说Uncased模型更好。但是在case信息也有作用的场景下,就应该使用cased模型
    (e.g., Named Entity Recognition or Part-of-Speech tagging)。

  • Multilingual表示预训练时使用多种语言的语料,Chinese表示预训练时使用中文,没有额外标注的则表示用英文语料训练。

  • ext差别是增加了训练数据集同时也增加了训练步数。

    总之,不管预训练模型的种类如何的多,他们都是基于BERT的魔改模型,只不过是层数不同或者使用的训练语料不同,训练轮次不同等。做中文相关任务先考虑chinese-roberta-wwm-ext、ERNIE预训练模型吧。

下载

使用预训练模型需要下载模型的文件,最关键的是三个文件:

第一个是配置文件,config.json

第二个是词典文件,vocab.json或vocab.txt

第三个是预训练模型文件,pytorch_model.bin或tf_model.h5。 根据你使用的框架选择

下面具体看看下载方式:

首先,打开预训练模型所在网址,比如ERNIE是:https://huggingface.co/nghuyong/ernie-1.0

其次,点击Files and versions选项卡,就可以找到需要下载的文件:config.json、pytorch_model.bin、vocab.txt
在这里插入图片描述ERNIE预训练模型包含的文件当然,你也可以把上面的所有文件都下载下来,这样肯定不会出错。

预训练模型的使用(API)

transformers库最关键的三个类

  • model
  • tokenizer
  • configuration

其他类如GPT2LMHeadModel都是对应类的子类而已,根据模型的特点进行改进。

  1. 使用方式一:指定模型名字

from transformers import AutoTokenizer, AutoModel
tokenizer = AutoTokenizer.from_pretrained(“nghuyong/ernie-1.0”)
model = AutoModel.from_pretrained(“nghuyong/ernie-1.0”)
这种方式不需要下载预训练模型,函数调用过程中如果发现没有这个模型就会自动下载

  1. 使用方式二:指定路径

from transformers import AutoTokenizer, AutoModel
tokenizer = AutoTokenizer.from_pretrained(“/home/models/huggingface/gpt2”)
model = AutoModel.from_pretrained(“/home/models/huggingface/gpt2”)
这种方式需要先下载好预训练模型的文件

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/21505.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

零门槛复现ChatGPT:预训练模型数据集直接用,在线可体验

明敏 发自 凹非寺量子位 | 公众号 QbitAI 这边ChatGPT、GPT-4等AI大模型和应用打得火热; 另一边“平替”开源复现方案也加紧更新迭代。 这不,“首个开源ChatGPT低成本复现流程”就来了波大更新! 现在,仅需不到百亿参数&#xff0c…

结合具体场景举例说明chatgpt预训练模型中Tokenization的原理

假设我们有一个场景,Alice想向Chatbot询问一部电影的推荐。她发送了一条消息:“你好,能给我推荐一部好看的电影吗?” 在这个场景中,Chatbot使用了ChatGPT预训练模型。首先,Chatbot需要对Alice的消息进行Tok…

举例说明chatgpt中生成式预训练模式中的预训练过程以及生成结果过程

生成式预训练模式(GPT)在自然语言处理任务中具有重要地位,它通过大量文本数据进行预训练,学习到一个通用的语言模型。然后通过微调,让模型适应特定任务。在这个过程中,GPT模型首先进行预训练,接…

魅魔php影视系统,魅魔全新且强大的视频电影程序(MacCMS PHP) 6.1 20120511

魅魔PHP影视系统,完全开源、强劲功能、卓越性能、安全健壮。超级易用、模板众多、插件齐全、资源丰富。构架稳健,实现平滑升级。 魅魔PHP影视系统 6.1 20120511 更新记录: 1,功能的累计性更新。 魅魔MacCMS视频电影程序是一套采用…

魅魔php影视系统,魅魔Maccms电影程序PHP

魅魔Maccms视频电影程序是一套采用ASPMSSQL/ACCESS (PHPMYSQL)环境下运行的完善而强大的视频电影系统。 经过近多年的开发经验和技术积累,魅魔Maccms视频电影程序已逐步走向成熟,在易用性和功能上已经成为同行中的佼佼者。 程序体积小->优化程序代码&…

寥寥几行代码,却改变了世界!

有那么一些代码片段,虽然只有寥寥几行,却能够给全世界带来巨大的影响。 链接:https://betterprogramming.pub/tiny-snippets-of-code-that-changed-the-world-fda104afc0d0 声明:本文为 CSDN 翻译,未经允许禁止转载。 …

chatgpt赋能python:Python绘制函数曲线:创造出令人惊叹的图形

Python绘制函数曲线:创造出令人惊叹的图形 随着越来越多的人开始关注数据可视化,Python成为了一种被广泛使用的工具,用于创建各种图形,包括函数曲线。Python图形库的灵活性和适用性使得它成为数据科学和工程领域中最受欢迎的编程…

chatgpt赋能python:Python手写体:Python程序员的最爱

Python手写体:Python程序员的最爱 介绍 Python手写体是指通过艺术化的方式将Python编程语言的代码转化成手写体风格的艺术作品。Python手写体的发展源于Python编程语言逐渐成为全球最受欢迎的编程语言之一。Python程序员喜欢用它来构建Web应用程序、数据分析、机器…

最新免费版 Office 全家桶Copilot,Gamma+MindShow 两大ChatGPT AI创意工具GPT-4神器助力高效智能制作 PPT,一键生成,与AI智能对话修改PPT(免安装)

目录 前言ChatGPT MindShow1. 使用ChatGPT工具生成PPT内容2. 使用MindShow工具一键智能制作PPTMindShow简介使用网页版制作pdf转ppt GAMMA AI神器GAMMA.app介绍注册 decks操作Guided 指导Text to deck 文本到PPTpdf转ppt协同操作其它 参考资料其它资料下载 前言 2023年3月&am…

【Twitter 舆论分析】Twitter 实时推文爬虫

0x00 前言 继续探索Twitter API的使用,这次获取一下Twitter的实时推文。 0x01 具体步骤 1、sample-steam 样本流 这是Twitter提供的代码,比较简单,只需要更改一下"bearer_token"即可使用,相对获得的数据单一&#x…

Android 实现用户收藏新闻以及查看新闻(简易新闻 六)

Android 实现用户收藏新闻以及查看新闻(简易新闻 六) 效果图: 因为录制的gif过长无法上传,所以这里分为两段,一段是用户未登录状态下收藏新闻需登录,用户登录后可以收藏: 第二段用户未登录查看…

关于世界杯的一篇文章-ChatGPT

世界杯是国际足球的最高荣誉,每四年举办一届,是世界上最受欢迎的体育赛事之一。自1930年首届世界杯在乌拉圭举办以来,已经举办了20届。 由国际足联(FIFA)主办,每届比赛都会在举办国举行,由32支…

2021最近的新闻大事10条简短 今天的新闻大事10条汇总

每天精选2021最近的新闻大事10-12条,365资讯简报 汇总近期、今天的新闻大事。每一条热点新闻大事件都比较简短,可以用作新闻大事件摘抄素材! 【365资讯简报】每天一分钟,知晓天下事!2021年1月12日 星期二 农历十一月廿…

收藏|最全的LIMS实验室信息管理系统介绍

实验室信息管理系统(LIMS),就是指通过计算机网络技术对实验的各种信息进行管理的计算机软、硬件系统。也就是将计算机网络技术与现代的管理思想有机结合,利用数据处理技术、海量数据存储技术、宽带传输网络技术、自动化仪器分析技术,来对实验…

使用大型语言模(LLM)构建系统(四):链式提示

今天我学习了DeepLearning.AI的 Building Systems with LLM 的在线课程,我想和大家一起分享一下该门课程的一些主要内容。 下面是我们访问大型语言模(LLM)的主要代码: import openai#您的openai的api key openai.api_key YOUR-OPENAI-API-KEY def get_…

AIGC - 生产力新工具 Bito AI

文章目录 Bito AI 是什么Bito AI 能干啥官网免费的吗?如何使用 Bito方式一:方式二:在这里插入图片描述方式三 Bito AI 是什么 Bito AI是继Github Copilot、Cursor、CodeWhisperer等AI智能编程产品之后发了一大AI编程工具 。 Bito是一款建立…

ChatGPT背后的技术

ChatGPT背后的技术InstructGPT,论文标题为 Training language models to follow instructions with human feedback。 语言模型(Language model)的原理是给一段文本,让它去预测后面下面的词是什么。在预训练中它的训练数据是没有标签的,是自…

揭密ChatGPT背后团队鲜为人知的小秘密

ChatGPT引领的人工智能技术浪潮还在持续火爆,可是做出这款产品的OpenAI公司,熬得住多年的冷板凳,最终一飞冲天,他们是怎么做到的呢? 因此,我对这家企业的组织建设产生了浓厚的兴趣。我找啊找,最…

一点就分享系列(实践篇6——上篇)【迟到补发_详解yolov8】Yolo-high_level系列融入YOLOv8 旨在研究和兼容使用【3月份开始持续补更】

一点就分享系列(实践篇5-补更篇)[迟到补发]—Yolo系列算法开源项目融入V8旨在研究和兼容使用[持续更新] 题外话 [最近一直在研究开放多模态泛化模型的应用事情,所以这部分内容会更新慢一些,文章和GITGUB更新并不同步,g…

基于OpenAI的gpt-3.5模型API实现个人助手服务

引言 网上有不少OpenAI的API资料,实测下来,可能是环境因素踩了不少坑,这里分享一下我实践成功的技术路线。出于篇幅考虑,本文不会对开发前的部分工作,例如openai账号注册,外网访问权限获取,java…