主题模型LDA教程:一致性得分coherence score方法对比(umass、c_v、uci)

文章目录

        • 主题建模
        • 潜在迪利克雷分配(LDA)
        • 一致性得分 coherence score
          • 1. CV 一致性得分
          • 2. UMass 一致性得分
          • 3. UCI 一致性得分
          • 4. Word2vec 一致性得分
          • 5. 选择最佳一致性得分

主题建模

主题建模是一种机器学习和自然语言处理技术,用于确定文档中存在的主题。它能够确定单词或短语属于某个主题的概率,并根据它们的相似度或接近度对文档进行聚类。它通过分析文档中单词和短语的频率来实现这一目的。 主题建模的一些应用还包括文本摘要、推荐系统、垃圾邮件过滤器等。

具体来说,目前用于提取主题模型的方法包括潜狄利克特分配法(LDA)、潜语义分析法(LSA)、概率潜语义分析法(PLSA)和非负矩阵因式分解法(NMF)。我们将重点讨论潜狄利克特分配(LDA)的一致性得分。

潜在迪利克雷分配(LDA)

Latent Dirichlet Allocation 是一种无监督的机器学习聚类技术,我们通常将其用于文本分析。它是一种主题建模,其中单词被表示为主题,而文档则被表示为这些单词主题的集合。

总之,这种方法通过几个步骤来识别文档中的主题:

  1. 抽取主题–在主题空间中初始化文档的 Dirichlet 分布,并从文档主题的多叉分布中选择 N 个主题。
  2. 抽取单词并创建文档 - 在单词空间中初始化主题的 Dirichlet 分布,并从主题上单词的多项式分布中为每个先前抽取的主题选择 N 个单词。
  3. 最大化创建相同文档的概率。
    上述算法的数学定义为

在这里插入图片描述

其中 α \alpha α β \beta β 定义了 Dirichlet 分布, θ \theta θ ϕ \phi ϕ 定义了多叉分布, Z Z Z 是包含所有文档中所有单词的主题向量, W W W 是包含所有文档中所有单词的向量, M M M 个文档数, K K K 个主题数和 N N N 个单词数。

我们可以使用吉布斯采样(Gibbs sampling)来完成整个训练或概率最大化的过程,其总体思路是让每个文档和每个单词尽可能地单色。基本上,这意味着我们希望每篇文档的文章数越少越好,每个词属于的主题数越少越好。

一致性得分 coherence score

在主题建模中,我们可以使用一致性得分来衡量主题对人类的可解释性。在这种情况下,主题表示为属于该特定主题概率最高的前 N 个词。简而言之,一致性得分衡量的是这些词之间的相似程度。

1. CV 一致性得分

最流行的一致性度量之一被称为 CV。它利用词的共现创建词的内容向量,然后利用归一化点式互信息(NPMI)和余弦相似度计算得分。这个指标很受欢迎,因为它是 Gensim 主题一致性pipeline模块的默认指标,但它也存在一些问题。即使是该指标的作者也不推荐使用它。

不推荐使用 CV 一致性度量。

2. UMass 一致性得分

我们建议使用 UMass 一致性评分来代替 CV 评分。它计算两个词 w i w_{i} wi w j w_{j} wj 在语料库中同时出现的频率,其定义为
在这里插入图片描述

其中, D ( w i , w j ) D(w_{i}, w_{j}) D(wi,wj) 表示单词 w i w_{i} wi w j w_{j} wj 在文档中同时出现的次数, D ( w i ) D(w_{i}) D(wi) 表示单词 w i w_{i} wi 单独出现的次数。数字越大,一致性得分越高。此外,这一指标并不对称,也就是说 C U M a s s ( w i , w j ) C_{UMass}(w_{i}, w_{j}) CUMass(wi,wj)不等于 C U M a s s ( w j , w i ) C_{UMass}(w_{j}, w_{i}) CUMass(wj,wi)。我们用描述主题的前 N 个词的平均成对一致性得分来计算主题的全局一致性。

3. UCI 一致性得分

该一致性得分基于滑动窗口和所有词对的点互信息,使用出现率最高的 N 个词。我们不计算两个词在文档中出现的频率,而是使用滑动窗口计算词的共现。也就是说,如果我们的滑动窗口大小为 10,那么对于一个特定的词 w i w_{i} wi,我们只能观察到词 w i w_{i} wi 前后的 10 个词。

因此,如果单词 w i w_{i} wi w j w_{j} wj 同时出现在文档中,但它们没有同时出现在一个滑动窗口中,我们就不认为它们是同时出现的。同样,对于 UMass 分数,我们将单词 w i w_{i} wi w j w_{j} wj 之间的 UCI 一致性定义为

在这里插入图片描述

其中, P ( w ) P(w) P(w) 是在滑动窗口中看到单词 w 的概率, P ( w i , w j ) P(w_{i}, w_{j}) P(wi,wj)是单词 w i w_{i} wi w j w_{j} wj 在滑动窗口中同时出现的概率。在原论文中,这些概率是使用 10 个单词的滑动窗口,从 200 多万篇英文维基百科文章的整个语料库中估算出来的。我们计算话题全局一致性的方法与计算 UMass 一致性的方法相同。

4. Word2vec 一致性得分

一个聪明的想法是利用 word2vec 模型来计算一致性得分。这将在我们的得分中引入单词的语义。基本上,我们希望根据两个标准来衡量一致性:

主题内相似性–同一主题中词语的相似性。
主题间相似性–不同主题中词语的相似性。
这个想法非常简单。我们希望主题内相似度最大化,主题间相似度最小化。此外,我们所说的相似性是指 word2vec 嵌入所代表的词与词之间的余弦相似性。

然后,我们计算每个主题的主题内相似度,即该主题中每对可能的前 N 个词之间的平均相似度。随后,我们计算两个主题之间的主题间相似度,即这两个主题中前 N 个词之间的平均相似度。

最后,两个主题 t i t_{i} ti t j t_{j} tj 之间的 word2vec 一致性得分计算公式为
在这里插入图片描述

5. 选择最佳一致性得分

**没有一种方法可以确定一致性得分的好坏。**得分及其价值取决于计算数据。例如,在一种情况下,0.5 的分数可能足够好,但在另一种情况下则不可接受。唯一的规则是,我们要最大限度地提高这个分数。

通常,一致性得分会随着主题数量的增加而增加。随着主题数量的增加,这种增加会变得越来越小。可以使用所谓的肘部技术来权衡主题数量和一致性得分。这种方法意味着将一致性得分绘制成主题数量的函数。我们利用曲线的肘部来选择主题数量。

这种方法背后的理念是,我们要选择一个点,在这个点之后,一致性得分的递减增长不再值得额外增加主题数。n_topics = 3 时的肘截点示例如下:
在这里插入图片描述

elbow rule
此外,一致性得分取决于 LDA 超参数,如 α \alpha α β \beta β K K K。毕竟,手动验证结果是很重要的,因为一般来说,无监督机器学习系统的验证工作都是由人工完成的。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/187783.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Linux驱动开发——USB设备驱动

目录 一、 USB 协议简介 二、 Linux USB 驱动 三、 USB 设备驱动实例 一、 USB 协议简介 USB(Universal Serial Bus,通用串行总线)正如它的名字一样,是用来连接PC外设的一种通用串行总线,即插即用和易扩展是它最大的特点。所谓即插即用&am…

Edge浏览器新建标签页如何更改为指定网址

Edge浏览器新建标签页如何更改为指定网址? 启动时新建标签页 不是说启动时,而是加号新建标签页时候 启动时 新建标签页 New Tab Changer 可以了 如果没有需要应用商店下载 参考文章

Clickhouse 学习笔记(6)—— ClickHouse 分片集群

前置知识: Clickhouse学习笔记(5)—— ClickHouse 副本-CSDN博客 与副本对比: 副本虽然能够提高数据的可用性,降低丢失风险,但是每台服务器实际上必须容纳全量数据,对数据的横向扩容没有解决 …

工厂设备报修的流程是怎样的?维修流程要如何优化?

在当今高度自动化的生产环境中,工厂设备的正常运行无疑对于企业的生产效率和经济效益具有至关重要的影响。然而,设备故障是生产过程中不可避免的现象。当设备发生故障时,如何快速、有效地进行报修、维修,以恢复设备的正常运转&…

企业年会/年终活动如何邀请媒体记者报道?

​媒体邀约是企业或组织进行宣传的重要手段之一。通过邀请媒体参加活动,可以增加活动的曝光度和知名度,吸引更多的关注和参与。同时,媒体报道还可以提高企业或组织的权威性和可信度,从而让公众更容易接受其传达的信息。 企业年会或…

【 云原生 | K8S 】kubectl 详解

目录 1 kubectl 2 基本信息查看 2.1 查看 master 节点状态 2.2 查看命名空间 2.3 查看default命名空间的所有资源 2.4 创建命名空间app 2.5 删除命名空间app 2.6 在命名空间kube-public 创建副本控制器(deployment)来启动Pod(nginx-wl…

双十一“静悄悄”?VR购物拉满沉浸式购物体验

以往每年的双十一,都会因为电商购物狂欢而变得热闹非凡,而各大电商平台也会在这天推出各种促销活动。但是,近几年来,双十一正在变得“静悄悄”。一个原因是消费群体越发理性消费,更加重视商品本身的质量和体验&#xf…

LabVIEW在OPC中使用基金会现场总线

LabVIEW在OPC中使用基金会现场总线 本文讨论了如何使用开放的OPC(用于过程控制的OLE)接口访问基金会现场总线网络和设备。 NI-FBUS通信管理器随附了一个OPC数据访问服务器。 (NI-FBUS Configurator自动包含NI-FBUS通信管理器。&#xff09…

音频——解析 PCM 数据

文章目录 生成 PCM 数据16bit16bit mono16bit stereo16bit 4 channel16bit 8 channel24bit解析 PCM 数据解析 24bit 数据程序源码生成 PCM 源码解析 PCM 源码生成 PCM 数据 16bit 16bit mono int 48k_16bit_modo[] = {0, 4276, 8480, 12539, 16383, 19947, 23169, 25995, 28…

88.Linux系统下关于fork的经典练习

题目描述 下列程序输出几个A? 运行结果 输出6个A 根据代码段仔细执行,注意for循环的i的值即可得出答案 下列程序输出几个A? (这个printf后面是不带\n也就是说不刷新缓冲区) 运行结果 输出8个A,要注意到此程序的printf语句没有…

Visual Interpretability for Deep Learning: a Survey

Visual Interpretability for Deep Learning: a Survey----《深度学习的视觉可解释性:综述》 摘要 本文回顾了最近在理解神经网络表示以及学习具有可解释性/解耦的中间层表示的神经网络方面的研究。尽管深度神经网络在各种任务中表现出了优越的性能,但可解释性始终…

RabbitMQ 之 Work Queues 工作队列

目录 一、轮训分发消息 1、抽取工具类 2、启动两个工作线程 3、生产者代码 4、结果展示 二、消息应答 1、概念 2、自动应答 3、消息应答的方法 4、Multiple 的解释 5、消息自动重新入队 6、消息手动应答代码 (1)生产者 (2&#…

@ConfigurationProperties使用

一直有个疑问,在使用ConfigurationProperties注解作用一个配置类时,如果该配置类继承了一个父类,那么父类的那些配置字段是否可以读取配置信息。 答案是可以的,前提是父类对应字段的set方法是public。 BaseProperties.java Getter Setter public class BasePropert…

什么是证书管理

在自带设备和物联网文化的推动下,数字化使连接到互联网的设备数量空前加速。在企业网络环境中,每个在线运行的设备都需要一个数字证书来证明其合法性和安全运行。这些数字证书(通常称为 X.509 证书)要么来自称为证书颁发机构 &…

Android---MVP 中 presenter 声明周期的管理

我们经常在 Android MVP 架构中的 Presenter 层做一些耗时操作,比如请求网络数据,然后根据请求后的结果刷新 View。但是,如果按返回结束 Activity,而 Presenter 依然在执行耗时操作。那么就有可能造成内存泄漏,严重时甚…

RustRover里使用AI通义灵码来写代码

AI通义灵码我选择RustRover里的 plugin进行下载使用 然后我们就提问好了&#xff1a;让他用c语言写一个冒泡排序程序 #include <stdio.h>void bubble_sort(int arr[], int size) {int i, j, temp;for (i 0; i < size - 1; i) {for (j 0; j < size - i - 1; j) {i…

Hololens开发笔记

1、关闭阴影 2、将相机渲染改为后向。因为默认是Forward&#xff0c;当在场景里面想使用点光源时&#xff0c;运行起来三角面会翻倍&#xff0c;影响软件运行流畅度。 3、第三人称同步相关。开启Host/Sever/Client前&#xff0c;需要将所有挂有NetworkObject/NetworkTransfor…

VINS-Mono-后端优化 (三:视觉雅可比推导)

用逆深度是因为这样可以在优化中从优化3个变量降低到1个&#xff0c;降低优化的维度加快求解速度 用逆深度是因为当距离很远的时候&#xff0c; 1 x \frac{1}{x} x1​ x x x 就会无穷大&#xff0c;而3D点很近的情况也一般不会有&#xff0c;这也是为了数值稳定性 用逆深度的…

Android 图层列表 、 LayerDrawable 、 layer-list \ 改变 seekbar thumb 滑块 的颜色

android 官网 &#xff1a; 图层列表 LayerDrawable / layer-list LayerDrawable 是管理其他可绘制对象数组的可绘制对象。列表中的每个可绘制对象均按照列表顺序绘制。列表中的最后一个可绘制对象绘于顶部。 每个可绘制对象均由单个 <layer-list> 元素内的 <item>…

树之二叉排序树(二叉搜索树)

什么是排序树 说一下普通二叉树可不是左小右大的 插入的新节点是以叶子形式进行插入的 二叉排序树的中序遍历结果是一个升序的序列 下面是两个典型的二叉排序树 二叉排序树的操作 构造树的过程即是对无序序列进行排序的过程。 存储结构 通常采用二叉链表作为存储结构 不能 …