【Gensim概念】02/3 NLP玩转 word2vec

第二部分  句法

六、句法模型（类对象和参数）

6.1 数据集的句子查看

  • classgensim.models.word2vec.BrownCorpus(dirname)

        Bases: object

        迭代句子 Brown corpus (part of NLTK data).

6.2 数据集的句子和gram

  • classgensim.models.word2vec.Heapitem(count, index, left, right)

Bases: Heapitem

Create new instance of Heapitem(count, index, left, right)

  • count  Alias for field number 0
  • index  Alias for field number 1
  • left  Alias for field number 2
  • right  Alias for field number 3

6.3 数据集的句子迭代器

  • classgensim.models.word2vec.LineSentence(source, max_sentence_length=10000, limit=None)

        Bases: object

        迭代包含句子的文件：一行 = 一个句子。单词必须已经过预处理并用空格分隔。

        参数

  • source (string or a file-like object) – 磁盘上文件的路径或已打开的文件对象 (must support seek(0)).

  • limit (int or None) – 将文件句子数目剪辑到第一条限制数。如果 limit 为 None，则不进行剪裁

     (the default).

        例子

>>> from gensim.test.utils import datapath
>>> sentences = LineSentence(datapath('lee_background.cor'))
>>> for sentence in sentences:
...     pass

七、文档模型

7.1 数据集的目录迭代器

        指向目录，目录下有多个文件，将多文件句子当成一个集合体处理。

classgensim.models.word2vec.PathLineSentences(source, max_sentence_length=10000, limit=None)

Bases: object

与 LineSentence同，但按文件名的字母顺序处理目录中的所有文件。

该目录只能包含可以读取的文件 gensim.models.word2vec.LineSentence: .bz2, .gz, and text files. Any file not ending with .bz2 or .gz 被假设是一个文本文件。

        路径中的文件（文本或压缩文本文件）的格式是一句话 = 一行，单词已经过预处理并以空格分隔。

警告：

        不会递归到子目录。

参数：

  • source (str) – 文件目录名称.

  • limit (int or None) – 仅读取每个文件中的第一个限制行。如果 limit 为 None（默认），则读取全部。

        classgensim.models.word2vec.Text8Corpus(fname, max_sentence_length=10000)

        Bases: object

        迭代“text8”语料库中的句子，从下列获取： http://mattmahoney.net/dc/text8.zip. 

7.2 模型集的 Word2Vec

classgensim.models.word2vec.Word2Vec(sentences=None, corpus_file=None, vector_size=100, alpha=0.025, window=5, min_count=5, max_vocab_size=None, sample=0.001, seed=1, workers=3, min_alpha=0.0001, sg=0, hs=0, negative=5, ns_exponent=0.75, cbow_mean=1, hashfxn=<built-in function hash>, epochs=5, null_word=0, trim_rule=None, sorted_vocab=1, batch_words=10000, compute_loss=False, callbacks=(), comment=None, max_final_vocab=None, shrink_windows=True)

        Bases: SaveLoad

训练、使用和评估中描述的神经网络  https://code.google.com/p/word2vec/.

        完成模型训练后（=不再更新，仅查询），仅在 self.wv 中存储和使用 KeyedVectors 实例以减少内存。

        完整模型可以通过其 save() 和 load() 方法存储/加载。

        经过训练的词向量还可以通过 self.wv.save_word2vec_format 和与原始 word2vec 实现兼容的格式进行存储/加载

gensim.models.keyedvectors.KeyedVectors.load_word2vec_format().

参数

  • sentence（可迭代的可迭代，可选）——可迭代的句子可以只是标记列表的列表，但对于较大的语料库，请考虑直接从磁盘/网络流式传输句子的可迭代。请参阅BrownCorpus、Text8Corpus 或模块LineSentence中的word2vec此类示例。另请参阅有关 Python 中的数据流的教程。如果您不提供statements，则模型将保持未初始化状态 - 如果您打算以其他方式初始化它，请使用它。

  • corpus_file ( str ,可选) – 格式的语料库文件的路径LineSentence。您可以使用此参数而不是句子来提高性能。只需要传递句子或 corpus_file参数之一（或者都不传递，在这种情况下，模型将保持未初始化状态）。

  • vector_size ( int ,可选) – 词向量的维数。

  • window ( int ,可选) – 句子中当前单词和预测单词之间的最大距离。

  • min_count ( int ,可选) – 忽略总频率低于此的所有单词。

  • Workers ( int ,可选) – 使用这些工作线程来训练模型（=使用多核机器进行更快的训练）。

  • sg ( {0 , 1} ,可选) – 训练算法：skip-gram 为 1；否则CBOW。

  • hs ( {0 , 1} ,可选) – 如果为 1，则将使用分层 softmax 进行模型训练。如果为0，并且负数非零，则将使用负采样。

  • negative ( int ,可选) – 如果 > 0，将使用负采样，负数的 int 指定应抽取多少“噪声词”（通常在 5-20 之间）。如果设置为 0，则不使用负采样。

  • ns_exponent ( float ,可选) – 用于塑造负采样分布的指数。值 1.0 与频率完全成比例地进行采样，0.0 对所有单词进行同等采样，而负值则对低频单词进行更多采样。最初的 Word2Vec 论文选择了流行的默认值 0.75。最近，在https://arxiv.org/abs/1804.04212中，Caselles-Dupré、Lesaint 和 Royo-Letelier 提出其他值对于推荐应用程序可能表现更好。

  • cbow_mean ( {0 , 1} ,可选) – 如果为 0，则使用上下文单词向量的总和。如果为 1，则使用平均值，仅在使用 cbow 时适用。

  • alpha ( float ,可选) – 初始学习率。

  • min_alpha ( float ,可选) –随着训练的进行，学习率将线性下降到min_alpha 。

  • seed ( int ,可选) – 随机数生成器的种子。每个单词的初始向量都以 word + str(seed)连接的哈希值作为种子。请注意，对于完全确定性可重现的运行，您还必须将模型限制为单个工作线程 ( workers=1 )，以消除操作系统线程调度中的排序抖动。（在 Python 3 中，解释器启动之间的再现性还需要使用PYTHONHASHSEED环境变量来控制哈希随机化）。

  • max_vocab_size ( int ,可选) – 限制词汇构建过程中的 RAM；如果有比这更多的独特单词，则修剪掉不常见的单词。每 1000 万个字型需要大约 1GB RAM。设置为None表示没有限制。

  • max_final_vocab ( int ,可选) – 通过自动选择匹配的 min_count 将词汇限制为目标词汇大小。如果指定的 min_count 大于计算出的 min_count，则将使用指定的 min_count。如果不需要，请设置为“无” 。

  • Sample ( float ,可选) – 配置哪些高频词被随机下采样的阈值，有用范围是 (0, 1e-5)。

  • hashfxn ( function ,可选) – 用于随机初始化权重的哈希函数，以提高训练的可重复性。

  • epochs ( int ,可选) – 语料库的迭代次数（epoch）。（以前：iter）

  • 修剪规则（函数，可选）-

    词汇表修剪规则，指定某些单词是否应保留在词汇表中、被修剪掉或使用默认值进行处理（如果字数 < min_count 则丢弃）。可以是 None （将使用 min_count，请查看），或者是接受参数（word、count、min_count）并返回、或 的keep_vocab_item()可调用函数 。该规则（如果给定）仅用于在 build_vocab() 期间修剪词汇，并且不会存储为模型的一部分。gensim.utils.RULE_DISCARDgensim.utils.RULE_KEEPgensim.utils.RULE_DEFAULT

    输入参数有以下几种类型：

    • word (str) - 我们正在检查的单词

    • count (int) - 语料库中单词的频率计数

    • min_count (int) - 最小计数阈值。

  • sorted_vocab ( {0 , 1} ,可选) – 如果为 1，则在分配单词索引之前按频率降序对词汇表进行排序。见sort_by_descending_frequency()。

  • batch_words ( int ,可选) – 传递给工作线程（以及 cython 例程）的示例批次的目标大小（以字为单位）。（如果单个文本长度超过 10000 个单词，则将传递更大的批次，但标准 cython 代码会截断为那个最大值。）

  • compute_loss ( bool ,可选) – 如果为 True，则计算并存储可以使用 检索的损失值 get_latest_training_loss()。

  • 回调（可迭代CallbackAny2Vec，可选）- 在训练期间的特定阶段执行的回调序列。

  • Shrink_windows ( bool ,可选) – 4.1 中的新增功能。实验性的。如果为 True，则在训练期间从每个目标单词的 [1, window ]中均匀采样有效窗口大小，以匹配原始 word2vec 算法按距离对上下文单词的近似加权。否则，有效窗口大小始终固定为两侧的窗口字。

7.2.1 使用实例

Initialize and train a Word2Vec model

>>> from gensim.models import Word2Vec
>>> sentences = [["cat", "say", "meow"], ["dog", "say", "woof"]]
>>> model = Word2Vec(sentences, min_count=1)

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.rhkb.cn/news/168703.html

如若内容造成侵权/违法违规/事实不符，请联系长河编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

Web APIs——事件监听以及案例

Web APIs——事件监听以及案例

1、事件监听 什么是事件&#xff1f; 事件是在编程时系统内发生的动作或者发生的事情 比如用户在网页上单击一个按钮 什么是事件监听&#xff1f; 就是让程序检测是否有事件产生&#xff0c;一旦有事件触发&#xff0c;就立即调用一个函数做出响应&#xff0c;也称为绑定事…
阅读更多...
pymavlink简单使用

pymavlink简单使用

环境 windows10 python3.11 pymavlink2.4.40 工具 虚拟串口工具 Virtual Serial Port Driver 6.9 串口/网络调试助手 sscom5.13.1.exe 串口通信 虚拟串口 COM1, COM2 调试助手连接COM2 pymavlink连接COM1 from pymavlink import mavutil import timeconnect mavut…
阅读更多...
UE4 Ultradynamicsky进行地面交互

UE4 Ultradynamicsky进行地面交互

第一步&#xff1a; 找到地面材质&#xff0c;进入地面材质 找到该节点 找到之前本该连在这里的&#xff0c;现在连到这个节点上&#xff0c;然后把这个节点的输出连到材质输出节点上 新建一个物理材质 然后给过来 找到Ultra_Dynamic_Weather&#xff0c;把Enable Dynamic Lan…
阅读更多...
【ArcGIS模型构建器】03：多个shp批量按属性分割（多个县区批量提取乡镇）

【ArcGIS模型构建器】03：多个shp批量按属性分割（多个县区批量提取乡镇）

文章目录 一、数据预览二、模型构建三、保存模型一、数据预览 加载实验数据： 本试验实现将两个县区的数据分割为乡镇数据。 二、模型构建 1. 添加数据文件夹 将县区数据所在的根目录文件夹拖进模型。 2. 添加要素类迭代器 插入→迭代器→要素类。 用连接工具，将数据文件…
阅读更多...
基于Java的疫苗接种管理系统设计与实现(源码+lw+部署文档+讲解等)

基于Java的疫苗接种管理系统设计与实现(源码+lw+部署文档+讲解等)

文章目录 前言具体实现截图论文参考详细视频演示为什么选择我自己的网站自己的小程序&#xff08;小蔡coding&#xff09; 代码参考数据库参考源码获取 前言 &#x1f497;博主介绍&#xff1a;✌全网粉丝10W,CSDN特邀作者、博客专家、CSDN新星计划导师、全栈领域优质创作者&am…
阅读更多...
用Rust和cURL库做一个有趣的爬虫

用Rust和cURL库做一个有趣的爬虫

以下是一个使用 Rust 和 cURL 库的下载器程序&#xff0c;用于从wechat下载音频。此程序使用了 [/get_proxy] 提供的代码。 extern crate curl;use std::io::{self, Read}; use std::process::exit; use curl::easy::Easy;fn main() {let url "https://www.wechat.com/au…
阅读更多...
第01章-Java语言概述

第01章-Java语言概述

目录 1 常见DOS命令 常用指令 相对路径与绝对路径 2 转义字符 3 安装JDK与配置环境变量 JDK与JRE JDK的版本 JDK的下载 JDK的安装 配置path环境变量 4 Java程序的编写与执行 5 Java注释 6 Java API文档 7 Java核心机制&#xff1a;JVM 1 常见DOS命令 DOS&#xff08;…
阅读更多...
.obj模型文件（带材质和纹理）合并的基本思路

.obj模型文件（带材质和纹理）合并的基本思路

1、将v开头的顶点信息依次拷贝到合并新.obj中 2、将vt纹理坐标依次拷贝到合并新.obj中 3、f&#xff08;面&#xff09;的合并 步骤&#xff1a; &#xff08;1&#xff09;第一个obj文件的f&#xff08;面&#xff09;原封不动拷进新.obj中 &#xff08;2&#xff09;第二个…
阅读更多...
GoLong的学习之路（五）语法之数组

GoLong的学习之路（五）语法之数组

书接上回&#xff0c;上回书说到&#xff0c;循环语句&#xff0c;在go中循环语句的少了whlie这个关键词&#xff0c;但是与之for可以改这个改这个特点。并且在终止关键词中&#xff0c;又有标签可以方便&#xff0c;停止。这次说数组 文章目录 Array(数组)数组的初始化方法一方…
阅读更多...
STM32入门F4

STM32入门F4

学习资料&#xff1a;杨桃电子&#xff0c;官网&#xff1a;洋桃电子 | 杜洋工作室 www.doyoung.net 嵌入式开发核心宗旨&#xff1a;以最适合的性能、功能、成本来完成最有性价比的产品开发。 1.为什么要学F407 STM32F103系列与STM32F407系列对照表&#xff1a; 2.F4系列命…
阅读更多...
设计院图纸加密防泄密方案——天锐绿盾加密软件@德人合科技

设计院图纸加密防泄密方案——天锐绿盾加密软件@德人合科技

天锐绿盾是一款专业的企业信息化防泄密软件&#xff0c;主要针对文档全生命周期进行加密保护&#xff0c;包括创建、修改、传输、归档、分发、销毁等全过程。它可以加强外发数据及终端离线的管理&#xff0c;对正常授权外带范围内的数据流程进行规范。设计图纸、文档等成果数据…
阅读更多...
【C++入门篇】保姆级教程篇【上】

【C++入门篇】保姆级教程篇【上】

目录 一、第一个C程序 二、C命名空间 1&#xff09;什么是命名空间&#xff1f; 2&#xff09;命名空间的使用 3&#xff09; std库与namespace展开 4&#xff09;命名空间的嵌套使用 三、输入输出方式 四、缺省参数 1&#xff09;什么是缺省参数&#xff1f; 2&#xff0…
阅读更多...
CANoe-使用IG Ethernet Packet Builder实现IP包分片的若干问题

CANoe-使用IG Ethernet Packet Builder实现IP包分片的若干问题

在文章《CANoe-Ethernet IG和Ethernet Packet Builder的使用和区别》中，我们讲过Packet Builder可以组装多种类型的以太网报文： 当我们想组装一条icmpv4 echo request报文，payload只有1个字节的数据FF时，选择ICMPv4 Packet，创建一条ICMPv4报文，把payload改为1个字节： 然…
阅读更多...
【API篇】六、Flink输出算子Sink

【API篇】六、Flink输出算子Sink

文章目录 1、输出到外部系统2、输出到文件3、输出到KafKa4、输出到MySQL&#xff08;JDBC&#xff09;5、自定义Sink输出 Flink做为数据处理引擎&#xff0c;要把最终处理好的数据写入外部存储&#xff0c;为外部系统或应用提供支持。与输入算子Source相对应的&#xff0c;输出…
阅读更多...
【银河麒麟系统】备份还原工具显示“备份分区空间不足，请删除过期或者不需要的备份”解决方法

【银河麒麟系统】备份还原工具显示“备份分区空间不足，请删除过期或者不需要的备份”解决方法

一.问题的现象 在进行银行麒麟V10的系统备份时&#xff0c;会因为所需备份的系统过大导致备份分区容量不足导致备份失败的情况&#xff1a; 二.解决方法 该问题的处理思路与之前写过的一篇文章&#xff1a;【linux】把home目录挂载到其他分区&#xff08;数据盘/data等&#xf…
阅读更多...
万界星空科技/免费MES系统/开源MES/免费追溯管理

万界星空科技/免费MES系统/开源MES/免费追溯管理

开源系统概述&#xff1a; 万界星空科技免费MES、开源MES、商业开源MES、市面上最好的开源MES、MES源代码、免费MES、免费智能制造系统、免费排产系统、免费排班系统、免费质检系统、免费生产计划系统、免费仓库管理系统、免费出入库管理系统、免费可视化数字大屏。 万界星空…
阅读更多...
图像语义分割 pytorch复现DeepLab v1图像分割网络详解以及pytorch复现（骨干网络基于VGG16、ResNet50、ResNet101）

图像语义分割 pytorch复现DeepLab v1图像分割网络详解以及pytorch复现（骨干网络基于VGG16、ResNet50、ResNet101）

图像语义分割 pytorch复现DeepLab v1图像分割网络详解以及pytorch复现&#xff08;骨干网络基于VGG16、ResNet50、ResNet101&#xff09; 背景介绍2、 网络结构详解2.1 LarFOV效果分析 2.2 DeepLab v1-LargeFOV 模型架构2.3 MSc&#xff08;Multi-Scale&#xff0c;多尺度(预测…
阅读更多...
深入浅出Apache SeaTunnel SQL Server Sink Connector

深入浅出Apache SeaTunnel SQL Server Sink Connector

在大数据时代&#xff0c;数据的迁移和流动已经变得日益重要。为了使数据能够更加高效地从一个源流向另一个目标&#xff0c;我们需要可靠、高效和易于配置的工具。今天&#xff0c;我们将介绍 JDBC SQL Server Sink Connector&#xff0c;这是一个专为 SQL Server 设计的连接器…
阅读更多...
美国国防部网络战略如何改变国家网络防御

美国国防部网络战略如何改变国家网络防御

十年前&#xff0c;时任国防部长莱昂帕内塔说了一句后来臭名昭著的短语&#xff1a;“网络珍珠港”。帕内塔利用他作为该国主要国家安全官员的平台来警告美国未来将遭受可怕的数字攻击。 他警告说&#xff0c;能源基础设施、交通系统、金融平台等都容易受到剥削。媒体、专家和…
阅读更多...
什么是Sectigo证书？

什么是Sectigo证书？

Sectigo证书&#xff0c;早前被称为Comodo证书&#xff0c;是一种SSL&#xff08;安全套接层&#xff09;证书&#xff0c;用于保护互联网上的数据传输的安全性和隐私性。这些证书由全球领先的SSL证书颁发机构Sectigo颁发&#xff0c;被广泛用于网站、应用程序和服务器上。本文…
阅读更多...
最新文章
推荐文章

Copyright @ 2022~2023