使用最大边界相关算法处理文章自动摘要

一、需求背景

       对于博客或者文章来说,摘要是普遍性的需求。但是我们不可能让作者自己手动填写摘要或者直接暴力截取文章的部分段落作为摘要,这样既不符合逻辑又不具有代表性,那么,是否有相关的算法或者数学理论能够完成这个需求呢?我想,MMR(Maximal Marginal Relevance)是处理文章自动摘要的杰出代表。

二、最大边界相关算法—MMR

       MMR算法又叫最大边界相关算法,此算法在设计之初是用来计算Query文本与被搜索文档之间的相似度,然后对文档进行rank排序的算法。算法公式如下:
image.png

       仔细观察下公式方括号中的两项,其中前一项的物理意义指的是待抽取句子和整篇文档的相似程度,后一项指的是待抽取句子和已得摘要的相似程度,通过减号相连,其含义是希望:抽取的摘要既能表达整个文档的含义,有具备多样性 。而image.png则是控制摘要多样性程度的一个超参数,你可以根据自己的需求去调节。

三、使用MMR算法实现文章自动摘要

3.1 具体算法实现

       具体的代码实现如下:

import com.microblog.util.tools.FileUtils;
import org.wltea.analyzer.core.IKSegmenter;
import org.wltea.analyzer.core.Lexeme;import java.io.*;
import java.nio.charset.StandardCharsets;
import java.nio.file.Files;
import java.util.*;
import java.util.Map.Entry;
import java.util.regex.Matcher;
import java.util.regex.Pattern;/*** 文本摘要提取文中重要的关键句子,使用top-n关键词在句子中的比例关系**/
public class SummaryUtil {//保留关键词数量int N = 50;//关键词间的距离阀值int CLUSTER_THRESHOLD = 5;//前top-n句子int TOP_SENTENCES = 20;//最大边缘相关阀值double λ = 0.4;//停用词列表private static final Set<String> stopWords = new HashSet<>();//句子编号及分词列表Map<Integer, List<String>> sentSegmentWords = null;/*** 加载停词(文章摘要的停顿/分割词)*/public static void initStopWords(String[] paths) {for (String path : paths) {try {File file = new FileUtils().readFileFromNet(path);InputStreamReader read = new InputStreamReader(Files.newInputStream(file.toPath()), StandardCharsets.UTF_8);if (file.isFile() && file.exists()) {BufferedReader br = new BufferedReader(read);String txt = null;while ((txt = br.readLine()) != null) {stopWords.add(txt);}br.close();}}catch (IOException e) {e.printStackTrace();}}}/*** 利用正则将文本拆分成句子*/private List<String> SplitSentences(String text) {List<String> sentences = new ArrayList<String>();String regEx = "[!?。!?.]";Pattern p = Pattern.compile(regEx);String[] sents = p.split(text);Matcher m = p.matcher(text);int sentsLen = sents.length;if (sentsLen > 0) {  //把每个句子的末尾标点符号加上int index = 0;while (index < sentsLen) {if (m.find()) {sents[index] += m.group();}index++;}}for (String sentence : sents) {//处理掉的html的标志sentence = sentence.replaceAll("(&rdquo;|&ldquo;|&mdash;|&lsquo;|&rsquo;|&middot;|&quot;|&darr;|&bull;)", "");sentences.add(sentence.trim());}return sentences;}/*** 这里使用IK进行分词* @param text 待处理句子* @return 句子分词列表*/private List<String> IKSegment(String text) {List<String> wordList = new ArrayList<String>();Reader reader = new StringReader(text);IKSegmenter ik = new IKSegmenter(reader, true);Lexeme lex = null;try {while ((lex = ik.next()) != null) {String word = lex.getLexemeText();if (word.equals("&nbsp;") || stopWords.contains(word) || "\t".equals(word)) continue;if (word.length() > 1 ) wordList.add(word);}}catch (IOException e) {e.printStackTrace();}return wordList;}/*** 每个句子得分  (keywordsLen*keywordsLen/totalWordsLen)** @param sentences 分句* @param topnWords keywords top-n关键词*/private Map<Integer, Double> scoreSentences(List<String> sentences, List<String> topnWords) {Map<Integer, Double> scoresMap = new LinkedHashMap<Integer, Double>();//句子编号,得分sentSegmentWords = new HashMap<>();int sentence_idx = -1;//句子编号for (String sentence : sentences) {sentence_idx += 1;List<String> words = this.IKSegment(sentence);//对每个句子分词sentSegmentWords.put(sentence_idx, words);List<Integer> word_idx = new ArrayList<Integer>();//每个关词键在本句子中的位置for (String word : topnWords) {if (words.contains(word)) {word_idx.add(words.indexOf(word));}}if (word_idx.size() == 0) continue;Collections.sort(word_idx);//对于两个连续的单词,利用单词位置索引,通过距离阀值计算一个族List<List<Integer>> clusters = new ArrayList<List<Integer>>();//根据本句中的关键词的距离存放多个词族List<Integer> cluster = new ArrayList<Integer>();cluster.add(word_idx.get(0));int i = 1;while (i < word_idx.size()) {if ((word_idx.get(i) - word_idx.get(i - 1)) < this.CLUSTER_THRESHOLD) {cluster.add(word_idx.get(i));} else {clusters.add(cluster);cluster = new ArrayList<>();cluster.add(word_idx.get(i));}i += 1;}clusters.add(cluster);//对每个词族打分,选择最高得分作为本句的得分double max_cluster_score = 0.0;for (List<Integer> clu : clusters) {int keywordsLen = clu.size();//关键词个数int totalWordsLen = clu.get(keywordsLen - 1) - clu.get(0) + 1;//总的词数double score = 1.0 * keywordsLen * keywordsLen / totalWordsLen;if (score > max_cluster_score) max_cluster_score = score;}scoresMap.put(sentence_idx, max_cluster_score);}return scoresMap;}/*** 利用最大边缘相关自动文摘*/public String SummaryMMRNTxt(String text) {//将文本拆分成句子列表List<String> sentencesList = this.SplitSentences(text);//利用IK分词组件将文本分词,返回分词列表List<String> words = this.IKSegment(text);//统计分词频率Map<String, Integer> wordsMap = new HashMap<>();for (String word : words) {Integer val = wordsMap.get(word);wordsMap.put(word, val == null ? 1 : val + 1);}//使用优先队列自动排序Queue<Entry<String, Integer>> wordsQueue = new PriorityQueue<>(wordsMap.size(), (o1, o2) -> o2.getValue() - o1.getValue());wordsQueue.addAll(wordsMap.entrySet());if (N > wordsMap.size()) {N = wordsQueue.size();}//取前N个频次最高的词存在wordsListList<String> wordsList = new ArrayList<>(N);//top-n关键词for (int i = 0; i < N; i++) {Optional.ofNullable(wordsQueue.poll()).ifPresent(entry -> {wordsList.add(entry.getKey());});}//利用频次关键字,给句子打分,并对打分后句子列表依据得分大小降序排序Map<Integer, Double> scoresLinkedMap = scoreSentences(sentencesList, wordsList);//返回的得分,从第一句开始,句子编号的自然顺序List<Entry<Integer, Double>> sortedSentList = new ArrayList<>(scoresLinkedMap.entrySet());//按得分从高到底排序好的句子,句子编号与得分sortedSentList.sort((o1, o2) -> o2.getValue().compareTo(o1.getValue()));if (sentencesList.size() == 2) {return sentencesList.get(0) + sentencesList.get(1);} else if (sentencesList.size() == 1) {return sentencesList.get(0);}Map<Integer, String> keySentence = new TreeMap<Integer, String>();dealWithCommentWithMMR(sentencesList, sortedSentList, keySentence);StringBuilder sb = new StringBuilder();for (int index : keySentence.keySet())sb.append(keySentence.get(index));return sb.toString();}/*** 使用MMR算法处理句子** @param sentencesList  句子列表* @param sortedSentList 排好序的句子(句子编号及其得分)* @param keySentence    处理结果*/private void dealWithCommentWithMMR(List<String> sentencesList, List<Entry<Integer, Double>> sortedSentList, Map<Integer, String> keySentence) {int count = 0;Map<Integer, Double> MMR_SentScore = MMR(sortedSentList);for (Entry<Integer, Double> entry : MMR_SentScore.entrySet()) {count++;int sentIndex = entry.getKey();String sentence = sentencesList.get(sentIndex);keySentence.put(sentIndex, sentence);if (count == this.TOP_SENTENCES) break;}}/*** 最大边缘相关(Maximal Marginal Relevance),根据λ调节准确性和多样性* max[λ*score(i) - (1-λ)*max[similarity(i,j)]]:score(i)句子的得分,similarity(i,j)句子i与j的相似度* User-tunable diversity through λ parameter* - High λ= Higher accuracy* - Low λ= Higher diversity** @param sortedSentList 排好序的句子,编号及得分*/private Map<Integer, Double> MMR(List<Entry<Integer, Double>> sortedSentList) {double[][] simSentArray = sentJSimilarity();//所有句子的相似度Map<Integer, Double> sortedLinkedSent = new LinkedHashMap<>();for (Entry<Integer, Double> entry : sortedSentList) {sortedLinkedSent.put(entry.getKey(), entry.getValue());}Map<Integer, Double> MMR_SentScore = new LinkedHashMap<>();//最终的得分(句子编号与得分)Entry<Integer, Double> Entry = sortedSentList.get(0);//第一步先将最高分的句子加入MMR_SentScore.put(Entry.getKey(), Entry.getValue());boolean flag = true;while (flag) {int index = 0;double maxScore = Double.NEGATIVE_INFINITY;//通过迭代计算获得最高分句子for (Map.Entry<Integer, Double> entry : sortedLinkedSent.entrySet()) {if (MMR_SentScore.containsKey(entry.getKey())) continue;double simSentence = 0.0;for (Map.Entry<Integer, Double> MMREntry : MMR_SentScore.entrySet()) {//这个是获得最相似的那个句子的最大相似值double simSen = 0.0;if (entry.getKey() > MMREntry.getKey()) simSen = simSentArray[MMREntry.getKey()][entry.getKey()];else simSen = simSentArray[entry.getKey()][MMREntry.getKey()];if (simSen > simSentence) {simSentence = simSen;}}simSentence = λ * entry.getValue() - (1 - λ) * simSentence;if (simSentence > maxScore) {maxScore = simSentence;index = entry.getKey();//句子编号}}MMR_SentScore.put(index, maxScore);if (MMR_SentScore.size() == sortedLinkedSent.size()) flag = false;}return MMR_SentScore;}/*** 每个句子的相似度,这里使用简单的jaccard方法,计算所有句子的两两相似度*/private double[][] sentJSimilarity() {//System.out.println("sentJSimilarity in...");int size = sentSegmentWords.size();double[][] simSent = new double[size][size];for (Entry<Integer, List<String>> entry : sentSegmentWords.entrySet()) {for (Entry<Integer, List<String>> entry1 : sentSegmentWords.entrySet()) {if (entry.getKey() >= entry1.getKey()) continue;int commonWords = 0;double sim = 0.0;for (String entryStr : entry.getValue()) {if (entry1.getValue().contains(entryStr)) commonWords++;}sim = 1.0 * commonWords / (entry.getValue().size() + entry1.getValue().size() - commonWords);simSent[entry.getKey()][entry1.getKey()] = sim;}}return simSent;}
}

3.2 文件读取工具

public class FileUtils {/*** 从网络地址读取文件** @param path 网络地址* @return 读取后的文件*/public File readFileFromNet(String path) throws IOException {File temporary = File.createTempFile("SensitiveWord", ".txt");URL url = new URL(path);InputStream inputStream = url.openStream();FileUtils.copyInputStreamToFile(inputStream, temporary);return temporary;}private static void copyInputStreamToFile(InputStream inputStream, File file) throws IOException {try (FileOutputStream outputStream = new FileOutputStream(file)) {int read;byte[] bytes = new byte[1024];while ((read = inputStream.read(bytes)) != -1) {outputStream.write(bytes, 0, read);}}}}

3.3 相关依赖

 <dependency><groupId>com.github.magese</groupId><artifactId>ik-analyzer</artifactId><version>8.5.0</version>
</dependency>

3.4 调用算法,生成自动摘要

   public static void main(String[] args) {SummaryUtil summary = new SummaryUtil();//停顿词我们一般放在OSS服务器上,而不是放在系统文件里面,方便灵活更换String[] paths = {"www.xxx.com/xxxxx(停顿词资源路径1)","www.xxx.com/xxxxx(停顿词资源路径2)"};//初始化停顿词initStopWords(paths);String text = "我国古代历史演义小说的代表作。明代小说家罗贯中依据有关三国的历史、杂记,在广泛吸取民间传说和民间艺人创作成果的基础上,加工、再创作了这部长篇章回小说。" +"作品写的是汉末到晋初这一历史时期魏、蜀、吴三个封建统治集团间政治、军事、外交等各方面的复杂斗争。通过这些描写,揭露了社会的黑暗与腐朽,谴责了统治阶级的残暴与奸诈," +"反映了人民在动乱时代的苦难和明君仁政的愿望。小说也反映了作者对农民起义的偏见,以及因果报应和宿命论等思想。战争描写是《三国演义》突出的艺术成就。这部小说通过惊心动魄的军事、政治斗争,运用夸张、对比、烘托、渲染等艺术手法,成功地塑造了诸葛亮、曹操、关羽、张飞等一批鲜明、生动的人物形象。《三国演义》结构宏伟而又严密精巧,语言简洁、明快、生动。有的评论认为这部作品在艺术上的不足之处是人物性格缺乏发展变化,有的人物渲染夸张过分导致失真。《三国演义》标志着历史演义小说的辉煌成就。在传播政治、军事斗争经验、推动历史演义创作的繁荣等方面都起过积极作用。《三国演义》的版本主要有明嘉靖刻本《三国志通俗演义》和清毛宗岗增删评点的《三国志演义》";String mmrSentences = summary.SummaryMMRNTxt(text);System.out.println("MMR算法获取到的摘要: " + mmrSentences);}

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/249082.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

【UE 材质】球形遮罩材质

效果 步骤 1. 新建一个材质&#xff0c;这里命名为“M_Mask” 打开“M_Mask”&#xff0c;混合模式设置为已遮罩&#xff0c;勾选双面显示 在材质图表中添加如下节点 此时我们将一个物体赋予材质“M_Mask”并放置在世界坐标原点&#xff0c;可以看到如下效果 2. 如果我们希望能…

UE4学习笔记 FPS游戏制作1 制作第一人称控制器

文章目录 章节目标前置概念Rotator与Vector&#xff1a;roll与yaw与pitch 添加按键输入蓝图结构区域1区域2区域3区域4 章节目标 本章节将实现FPS基础移动 前置概念 Rotator与Vector&#xff1a; Vector是用向量表示方向&#xff0c;UE中玩家的正前方是本地坐标系的(1,0,0)&…

MySQL备份和恢复(二)mysqldump

注意&#xff1a;mysqldump是完全备份 一、mysqldump备份命令 1、 备份数据库 含创建库语句 &#xff08;1&#xff09;备份指定数据库 完全备份一个或多个完整的库&#xff0c; mysqldump -uroot -p[密码] --databases 库名1 [库名2].. >/备份路径/备份文件名.sql#导出…

华为笔记本matebook pro X如何扩容 C 盘空间

一、前提条件 磁盘扩展与合并必须是相邻分区空间&#xff0c;且两个磁盘类型需要相同。以磁盘分区为 C 盘和 D 盘为例&#xff0c;如果您希望增加 C 盘容量&#xff0c;可以先将 D 盘合并到 C 盘&#xff0c;然后重新创建磁盘分区&#xff0c;分配 C 盘和 D 盘的空间大小。 访…

ADI 配合 USRP 使用的相控阵天线 cn0566

相控阵天线 在这里插入图片描述

vulnhub靶场之Matrix-Breakout 2 Morpheus

一.环境搭建 1.靶场描述 This is the second in the Matrix-Breakout series, subtitled Morpheus:1. It’s themed as a throwback to the first Matrix movie. You play Trinity, trying to investigate a computer on the Nebuchadnezzar that Cypher has locked everyone…

WebAssembly核心编程[1]:wasm模块实例化的N种方式

当我们在一个Web应用中使用WebAssembly&#xff0c;最终的目的要么是执行wasm模块的入口程序&#xff08;通过start指令指定的函数&#xff09;&#xff0c;要么是调用其导出的函数&#xff0c;这一切的前提需要创建一个通过WebAssembly.Instance对象表示的wasm模块实例(源代码…

vuex组件之间共享数据的方式

父向子传值:v-bind 属性绑定 子向父传值:v-on 事件绑定 $on 接收数据的那个组件 $emit 发送数据的那个组件 其他的传值方式: ref 获取dom元素还有组件 $children获取子组件集合 $parent获取父组件 路由参数--组件传值 1.Vuex概述 1 1.Vuex概述 Vuex是实现组件全局状…

【LUA】mac状态栏添加天气

基于网络上的版本修改的&#xff0c;找不到出处了。第一个摸索的lua脚本&#xff0c;调了很久。 主要修改&#xff1a;如果风速不大&#xff0c;就默认不显示&#xff0c;以及调整为了一些格式 local urlApi http://.. --这个urlApi去申请个免费的就可以了 然后打开对应的json…

Vue学习Element-ui

声明&#xff1a;本文来源于黑马程序员PDF讲义 Ajax 我们前端页面中的数据&#xff0c;如下图所示的表格中的学生信息&#xff0c;应该来自于后台&#xff0c;那么我们的后台和前端是 互不影响的2个程序&#xff0c;那么我们前端应该如何从后台获取数据呢&#xff1f;因为是2…

什么是git,怎样下载安装?

简介&#xff1a; 应用场景&#xff1a; 应用场景&#xff1a;团队企业开发 作用&#xff1a; 安装&#xff1a; 1.网址&#xff1a;Git - Downloads 很卡很慢 2.可以选择镜像网站下载&#xff08;推荐&#xff09; CNPM Binaries Mirror

k8s从私有库harbor中拉取镜像

一、前言 Docker镜像是构建应用程序的基础。然而&#xff0c;许多组织和开发团队希望保留他们的Docker镜像在私有仓库中&#xff0c;并从中拉取镜像&#xff0c;而不是从公共Docker Hub中下载。这样做的原因有很多&#xff0c;包括&#xff1a; 1. 安全性&#xff1a;私有仓库可…

利用onenet mqtt协议 ,ESP32上传温湿度数据流成功(arduinoIDE)

目标&#xff1a;开发esp32通过onenet平台远程控制LED、继电器等其它设备&#xff0c;并利用onenet可视化功能开发出一个简单的控制页面。 原以为能够快速完成&#xff0c;没想到接入mqtt协议、数据流上传、可视化按键都不同程度遇到了问题&#xff0c;还好经过一番查找和修改…

Android 使用高德地图

一、获取高德平台key 【1】基于application包名&sha1值在高德控制台获取key值&#xff0c;详情参考&#xff1a; 获取Key-创建工程-开发指南-Android 地图SDK | 高德地图API 【2】在manifest中声明权限 【3】将拿到的key值在manifest中进行声明 <!--允许程序打开网络…

HTTPS实现原理

1 为什么需要HTTPS&#xff1f; HTTP 在进行数据传输时采用明文传输&#xff0c;数据包中的用户信息等隐私数据可以被第三方通过抓包等方式窃取&#xff0c;是不安全的。 如果客户端使用 MD5 加密算法对数据进行加密&#xff0c;由于加密后的结果是不可逆的&#xff0c;服务器…

adf4159 直接调制/快速波形产生13 GHz小数N分频频率合成器

优势和特点 RF带宽达13 GHz高速和低速FMCW斜坡发生25位固定模数可提供次赫兹频率分辨率PFD频率最高达110 MHz归一化相位噪底&#xff1a;−224 dBc/HzFSK和PSK功能锯齿波、三角波和抛物线波形发生斜坡与FSK叠加具有2种不同扫描速率的斜坡斜坡延迟、频率回读和中断功能可编程相…

Blender教程(基础)-面的细分与删除、挤出选区-07

一、Blender之面的细分 新建一个立方体&#xff0c;在编辑模式下、选中一个面。 在选中的面上单击右键弹出细分选项&#xff0c;选择细分。 在选中细分后、会默认细分1次。修改细分次数在左下角 二、Blender之面的删除 选择中需要操作的面&#xff0c;在英文状态下按X键弹…

【计算机视觉】万字长文详解:卷积神经网络

以下部分文字资料整合于网络&#xff0c;本文仅供自己学习用&#xff01; 一、计算机视觉概述 如果输入层和隐藏层和之前一样都是采用全连接网络&#xff0c;参数过多会导致过拟合问题&#xff0c;其次这么多的参数存储下来对计算机的内存要求也是很高的 解决这一问题&#x…

linux 04 进程管理

02.进程管理 ps 在命令行输入ps后按回车键就能查看当前系统中正在运行的进程。 第一. 查看进程ps 进程的状态STAT 进程的周期 fork&#xff0c;产生一个新进程 第二.排序进程表 ps aux --sort -%cpu 降序cpu %cpu 增序cpu 第三.父子关系 ps ef 第四.自定义 五.动态查看…

FileZilla 的安装与使用

目录 一. FileZilla 是什么二. FileZilla 的安装1. 下载 FileZilla2. 安装 三. FileZilla 的使用 一. FileZilla 是什么 FileZilla 是一个免费的开源 FTP&#xff08;文件传输协议&#xff09;客户端软件&#xff0c;用于在计算机之间传输文件。它提供了一个直观的用户界面&am…