异常流量检测

项目目标是为了检测网络异常流量,防止网络攻击行为,本人参与了初期的工作,进行了文献阅读-数据处理-模型构建-参数优化工作。

网络攻击行为主要分为Dos、U2R、Probe等,其对应的流量异常特征为集合异常、点异常、上下文异常。

点异常指指单个数据样本相对于周围数据被视为异常的情况;上下文异常指数据实例在特定上下文中异常,但在其他情况下不属于异常的情况;集合异常指相关数据实例的集合作为一个整体是异常的,即使单个值可能是正常的。由于攻击行为大多能体现在流量特征方面,因此项目首先从简单的单变量流量时间序列进行分析,以小步快跑、快速迭代方式进行。

流量时间序列主要通过统计每分钟IP数据包个数,根据流量特征的时序特点,利用了长短期记忆网络LSTM进行滑动时间窗预测,通过对比预测值与实际值的误差是否大于设定的阈值来判断是否属于异常流量。不采用分类方式的原因在于,大多数文献采用的分类方式都是运用在现成的数据集,而实际情况中的数据集都不存在标签,采用分类方式需要较多的成本;并且异常值检测属于样本不平衡类型的检测,分类模型可能需要较复杂的方法解决漏报情况。

预测模型首先对正常流量趋势进行拟合,当异常流量出现时能较好的做出反应,避免了样本不平衡与漏报的情况;但是由于流量波动的存在导致某些正常波动被识别为异常情况,阈值选取过大,可能会出现报警延迟或漏报;阈值选取过小,则可能会出现误报的情况。因此误报情况较多,该模型在初期实现了70%的准确率,上下文异常较难发现,点异常则最容易。

被判定为异常值的值与正常值的最大值差距不大时,可能只是正常抖动,并非异常值,为了进一步解决误报情况,需要对误差值进行处理,采用了误差排序的方式,通过对误差进行降序排序E,对比误差序列间的差值情况D

di=(ei-ei-1)/ei-1

di大于某一预设值p时,则ei仍为异常值;若某个值之后所有d都小于预设值,则后续都为正常值。

该方法进一步避免了流量波动的情况,当流量波动时,误差虽然较大,但误差之间的差值并不大,而对于突发的流量异常情况,则差值较大,改进后的模型准确率提高了13%。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/28980.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

网络流量监控分析工具ntopng的安装与使用

我写这篇文章的起因:网上介绍ntopng这款工具的博客不算很多,而且安装方法基本没一个行得通(可能是版本更新太快了),我在安装过程中遇到了一些问题,想跟大家分享下;其次,在讲使用方法…

流量异常检测

https://mp.weixin.qq.com/s/9h-hOt630W6k077Rupc9CA 流量异常检测主要有以下三个难点: 流量的大小会随着用户行为发生变化。对于大部分百度云上的业务,白天的访问流量较高,深夜的访问流量较低。这使得流量水位值存在上下文相关性&#xff0…

Android应用流量统计——NetworkStatsManager使用

在没有Root的情况下,Android应用流量统计在6.0之前一直没有太好的办法,官方虽然提供了TrafficStats,但其主要功能是设备启动以来流量的统计信息,和时间信息无法很好的配合。最近再看TrafficStats类时,发现说明中提到&a…

仿设置流量使用——细讲android获取流量使用情况,以及解决调用流量接口不准问题(非TrafficStats,而是NetworkStatsHistory)

不积跬步无以至千里 流量使用情况,好多软件都会带这个功能,比如360的流量监控,好多之类的,手机管家都会带上这个流量计算的功能,连系统应用设置里面也会带一个流量使用情况的查看功能,为什么呢?因为流量的使用关乎到用户使用流量的计费,当流量使用了很多,会给用…

vnstat流量统计(2.8版本)

vnstat流量统计(2.8版本) vnStat 是一个基于控制台的 Linux 和 BSD 网络流量监视器,它为所选接口保留网络流量日志。它使用内核提供的网络接口统计信息作为信息源。这意味着 vnStat 实际上不会嗅探任何流量,并且无论网络流量率如…

中职流量包分析attack/capture(1)

我希望网络安全的世界大家可以贡献自己的一部分,而不是拿来自私自利 作者拿到的流量包和题目是有出入的,但是因为出的题大同小异所以能分析出来 attack 1. 分 析 attack.pcapng 数 据 包 文 件 ,通 过 分 析数据 包 attack.pcapng 找出恶意…

抓包部分软件时无网络+过代理检测 解决办法 安卓黄鸟httpcanary+vmos

解决软件抓包时无网络和代理检测🚀 需要准备的工具: 安卓手机 vmos pro 需要抓包的软件 第一步:下载好相应版的本的vmos room 第二步:文件中转站->我要导入->导入对应真机需要抓包APP 第三步:测试软件在vmos…

测试apk-异常管控NetTraffic攻击者开发

1. 目的 基于《软件绿色联盟应用体验标准》中 NetTraffic 资源的定义,对 NetTraffic 后台多次小流量数据包的行为模拟。旨在触发手机中异常功耗管控机制。 本次灭屏NetTraffic使用次数至少超过的二个等级:30次,60次,执行如下判断: 绿线不管控…

雷电模拟器无法修改网络,没有出现修改网络的选项,导致fiddler无法连接

对于一个小白来说,可能这就能耗掉一个下午的时间了,比如我,,,,要命的是这种问题对于绝大多数小白还完全不是问题,所以找了很久都没有解决答案,所以我是。。小白中的小白。。 模拟器…

TrackingNet上进行评估

TrackingNet上进行评估 说明:在目标跟踪测试数据集中,在TrackingNet和GOT-10K上的评估结果需要通过在线评估的方式获取。 website:Welcome - EvalAI 自行注册账户,注册好后按照以下操作就可以进行评估了。 在All Changes中找到…

ARP欺骗攻击(流量图片)——dsniff与driftnet使用

ARP欺骗攻击(流量&图片) 原理: 首先我们![请添加图片描述](https://img-blog.csdnimg.cn/7de7923387224bcda1ea4be958032ae9.png 要明白何为ARP(地址解析协议):是根据 IP地址 获取 物理地址 的一个 TC…

Google pixel 原生安卓出现 WiFi 网络受限、优化网速、网络无法连接问题

谷歌从 Android 5.0 开始就引入了「Captive Portal」机制,主要用来检测 WiFI 网络认证是否正常,默认检测访问的是谷歌服务器。 众所周知谷歌服务器是需要404工具才能正常访问,所以如果你没有404工具的情况下,WiFi 就会出现网络受…

悉尼科技大学计算机专业就业,悉尼科技大学计算机专业怎么样

悉尼科技大学计算机科学是一门包含各种各样与计算和信息处理相关主题的系统学科,从抽象的算法分析、形式化语法等等,到更具体的主题如编程语言、程序设计、软件和硬件等。信息化产业的今天,这类专业的重要性也愈加显现。悉尼科技大学的互联网…

悉尼大学计算机专业本科2019,2019申请悉尼大学读本科有哪些要求

悉尼大学是澳洲名校,每年都有不少学生慕名前来留学。那你们知道申请悉尼大学读本科有哪些要求呢? 大师兄留学网【留学网 dsxliuxue.com】小编为大家带来悉尼大学申请条件,希望对大家有帮助。 悉尼大学本科申请条件: 学术要求: 对…

悉尼大学理学院计算机科学,澳洲悉尼大学理学院中国留学生

1 悉尼大学理学院简介 据立思辰留学360介绍,悉尼大学理学院的正式建立是1882年。在之后的50年内,悉尼大学理学院一共培养了353名本科学生,以及聘用了6名在物理,化学,动物学,地质学,植物学&#…

悉尼大学计算机专业新生,2020年悉尼大学计算机科学专业课程设置难不难

悉尼大学计算机科学专业课程设置难不难 阅读:786次 更新时间:2016-10-19 09:06:03 添加时间:2016-10-19 编辑:jingwen 来源: 悉尼大学 索取招生简章 已发送786份2020年招生简章 我对该学校感兴趣,请发资料给…

悉尼大学商业数据科学与计算机学院,悉尼大学数据科学专业

悉尼大学的数据科学硕士,比较适合热衷于从数据中挖掘有价值信息,并借此推动商业决策制定和研究成果的人士。悉尼大学数据科学硕士项目旨在培养学生的分析能力、专业技能,引导学生利用数据科学在专业领域作出战略性决策。同时,该项…

悉尼大学理学院计算机科学,悉尼大学理学院本科申请

悉尼大学理学院(Faculty of Science)共开设有以下11个学位项目,国际学生均可申请,分别是: 课程名称 课程英文名 学制 IELTS要求 预科GPA A-level IB课程 通识教育与科学学士 B Liberal Arts and Science 3年 6.5 (6.0) 6.7 BBC 27 医学科学学…

悉尼科大计算机专业,2020年悉尼科技大学专业排名

悉尼科技大学(University of Technology Sydney),简称“悉尼科大”(UTS),世界百强名校。是一所位于澳大利亚第一大城市悉尼的著名公立研究型大学。学校在2020年与美国匹兹堡大学并列QS世界大学排名第140名,2019年获得世界五星级高校认证。 悉…

悉尼科技大学硕士计算机课程,悉尼科技大学硕士课程学制

悉尼科技大学位于澳大利亚新南威尔士州首府悉尼的市中心,是一所以商、法、教育、科技为主的重点综合性大学,澳大利亚世界名校之一。 悉尼科技大学信息技术学院是澳大利亚领先的IT学院并以与IT业的紧密联系而着称。该院把计算机科学技术和面向商业的信息系…