基于各种机器学习和深度学习的中文微博情感分析

28930c90a52cd001ad7f793a7ade4e60.png

来源:机器学习AI算法工程
本文约600字,建议阅读5分钟
本文中,我们介绍了中文微博情感分析的情况。

中文微博情感分类语料库

  • "情感分析"是我本科的毕业设计,也是我入门并爱上NLP的项目hhh,当时网上相关语料库的质量都太低了,索性就自己写了个爬虫,一边标注一边爬,现在就把它发出来供大家交流。因为是自己的项目,所以标注是相当认真的,还请了朋友帮忙校验,过滤掉了广告/太短/太长/表意不明等语料,语料质量是绝对可以保证的。

  • 带情感标注的微博语料数量: 10000(train.txt)+500(test.txt)

数据格式

  • 文档的每一行代表一条语料。

  • 每条语料的第一个数据为微博对应的mid,是每条微博的唯一标签,可以通过"https://m.weibo.cn/status/" + mid 访问到该条微博的网页(部分微博可能已被博主删除)。

  • 第二个数据为情感标签,0表示负面,1表示正面。

项目说明

  • 训练集10000条语料,测试集500条语料。

  • 使用朴素贝叶斯、SVM、XGBoost、LSTM和Bert,等多种模型搭建并训练二分类模型。

  • 前3个模型都采用端到端的训练方法。

  • LSTM先预训练得到Word2Vec词向量,在训练神经网络。

  • Bert使用的是哈工大的预训练模型,用Bert的[CLS]位输出在一个下游网络上进行finetune。预训练模型需要自行下载。

下载后将文件夹放在./model文件夹下,并将bert_config.json改名为config.json。

实验结果

各种分类器在测试集上的测试结果:

19459846f6bf5bf7249994f106c80a17.png

项目资料:

基于情感词典、k-NN、Bayes、最大熵、SVM的情感分析

https://github.com/chaoming0625/SentimentPolarityAnalysis

风险事件文本分类(达观杯Rank4)

https://github.com/DA-southampton/DaguanFengxian

编辑:王菁
校对:林亦霖

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/36928.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

主管发话:一周搞不定用友U8 ERP跨业务数据分析,明天就可以“毕业”了

随着月末来临,又到了汇报总结的时刻。 (图片来自网络) 到了这个特殊时期,你的老板就一定想要查看企业整体的运转情况、销售业绩、客户实况分析、客户活跃度、Top10 sales、 产品情况、订单处理情况等信息。 对业务有一定了解的同…

开源 ERP 系统 GoodERP

如果你有一个苹果,我也有一个苹果,彼此交换后,你我还是一人一个苹果,但是如果你有一个想法,我有一个想法,彼此交换后,你我就都有两个想法,三个人呢?一百个人呢&#xff1…

shopee虾扑erp软件,两大功能帮你详细解析

很多跨境小伙伴目前也已经用到了我们的虾扑erp数据分析软件,功能之前也有详细解读,shopee虾扑erp软件对于我们的店铺是有非常大的帮助的,可以大大减少我们卖家需要前期铺货所付出的长时间和精力,下面就来解析一下这两大功能是如何…

再有人问ERP是什么,有什么用,就这么回答他吧

ERP系统是什么? 百度一搜,ERP的含义为下: ERP是英文 Enterprise Resource Planning的首字母简写,是指企业资源计划系统。ERP是一个实现信息集成的管理系统,是企业内部的所有业务部门直接或者企业与外部合作伙伴之间交换…

一起来聊聊ERP

聊聊ERP 哈喽,哈喽,大家好!今天开始,我们就来讲ERP了。 什么是ERP ERP是Enterprise Resource Planning 的缩写,中文含义是企业资源计划。它代表了当前在全球范围内应用最广泛、最有效的一种企业管理方法,…

正在开发云ERP,业务功能与天心CS ERP一模一样, 欢迎大家指正

正在开发云ERP,业务功能与天心CS ERP一模一样, 欢迎大家指正 正在开发云ERP,欢迎大家指正 天心ERP全部PDK源代码到了我手上的后果 - 超越天心之WEB天云 详情>> 详情>> 详情>> 天心天字辈ERP全部PDK源代码到了我手上的…

当我问ChatGPT如何学习SAP……

文字版: How to study SAP ? Here are some steps to help you study SAP: Familiarize yourself with the SAP system: Before you begin to study SAP, its important to understand what the SAP system is and how it works. You can read introductory arti…

担心被ChatGPT取代?LMFlow让你打不过就加入!

作为一名金融领域的 NLP 从业者,自从 ChatGPT 出来以后,整个人都是处于担心下岗的状态。未来我还能做什么?整个自然语言处理行业会不会消失? 我也想在业务中利用 ChatGPT 的优势,然而整个 ChatGPT 是黑盒的&#xff0c…

测试工程师会被ChatGPT取代吗?没有那么简单

2022年底,ChatGPT横空出世,如今已火爆全球。ChatGPT不仅在科技圈引发了地震,更是引起了全社会的广泛关注,也让很多行业的从业者产生了担忧。 ChatGPT会取代教师吗?ChatGPT会让媒体工作者失业吗?ChatGPT会改…

领导说培养我,怎么看出来他是真培养,还是PUA我?

当你的领导说要培养你的时候,如何分辨他的真实意图? 一位网友问: 领导说培养我,怎么看出来他是真培养,还是PUA? 来看看这位网友的支招: 如果领导做到以下几点,那就是真的培养你。 1.…

遇到一个满嘴骚话的HR。。。

昨天看到一个非常扯蛋离大谱刷新三观的事情,有些小伙伴可能也看过了,看完之后确实感觉有够扯的。 有程序员因为能力很强,公司非常满意,结果派了一位 HR 与其谈薪资。但是这家公司给的薪资并不能让人满意,于是这位程序…

研究生被导师嫌弃是种怎样的体验?写的太真实了...

点击上方“3D视觉工坊”,选择“星标” 干货第一时间送达 本文来源:羊村传播(ID:yangcunmedia) Q & A:研究生被导师嫌弃是种怎样的体验? 当你和你导对话时,感觉被导嫌弃了会是怎样…

学生的致谢笑死!导师:致谢别矫情,没屁在那硬编!

本文来源:鲍海飞科学网博客及网络 最近看到一则毕业论文致谢的截图,差点把我笑傻~ 全文如下: 在论文付梓之际,我要万分感谢我的指导老师——**老师。她严谨细致、一丝不苟的作风将会是我往后工作、学习中的榜样;她天使…

这回导师们颤抖了,这个网站能匿名评价其“人品”,已有大量“不良”导师被爆...

点击上方“AI遇见机器学习”,选择“星标”公众号 重磅干货,第一时间送达 来自:研究生v 研究生导师如此良莠不齐, 如何得知导师的好坏? 今天推荐给大家这个网站, 导师评价网: https://www.mysupe…

考研生对导师“嚣张发言”引热议:希望您今年招个女同学,不然我换导师

转自 | 募格学术 参考资料 | 知乎、科学网博客、微博、抖音等 最近正值考研时节,不少考生都开始了联系导师的“求学之路”。 在抖音上,有这么一则考研生对导师说的“嚣张发言”引起大家热议。不少网友都表示:这么嚣张的考生实属少见 。 据截图…

一句代码搞定 Android 底部弹框

BottomDialog BottomDialog 一个自定义的从底部弹出的dialog&#xff0c;仿照微博的分享弹框 效果图 导入 compile top.zibin:BottomDialog:1.0.1使用 BottomDialog 只需要一句代码即可轻松显示底部弹框 创建Menu <?xml version"1.0" encoding"utf-8&…

Luban压缩源码学习

1.Android图片显示遇到的问题 在Android应用中加载图片&#xff0c;是一个需要消耗内存的一个动作。也是Android开发者在项目优化中比较头疼的一个问题。 先了解下加载图片如何消耗内存的 图片质量1px所占空间&#xff08;1byte8位&#xff09;1024*1024图片大小ALPHA_8只有…

Luban(鲁班)--图片压缩使用以及源码解析

###1.Android图片显示遇到的问题 在Android应用中加载图片&#xff0c;是一个需要消耗内存的一个动作。也是Android开发者在项目优化中比较头疼的一个问题。 先了解下加载图片如何消耗内存的 图片质量1px所占空间&#xff08;1byte8位&#xff09;1024*1024图片大小ALPHA_8只…

uni-App聊天功能的源码

前言 泡泡IM uniapp版聊天源码是一套完整的基于uniapp开发的聊天软件源码&#xff0c;可编译成微信小程序、安卓 IOS APP聊天软件、H5网页聊天室。uniapp聊天源码未加密&#xff0c;无外部依赖&#xff0c;可私有化部署&#xff0c;可二次开发。文档全面&#xff0c;接口丰富&…

一款极简聊天应用,比较完整,略好看

HasChat 基于vue3socket.io的聊天应用 无偿开源&#xff01;你们的Star是我的动力&#xff01;介绍 自我做的客服聊天以来&#xff0c;让我做一套聊天应用的呼声越来越多&#xff0c;加上那套客服聊天由于没有组件化、UI设计等问题&#xff0c;也让我一直心有遗憾做的不够完美…