推荐算法——Apriori算法原理

0、前言：

  • 首先名字别读错：an pu ruo ao rui 【拼音发音】
  • Apriori是一种推荐算法
  • 推荐系统：从海量数据中，帮助用户进行信息的过滤和选择。主要推荐方法有：基于内容的推荐、协同过滤推荐、基于关联规则的推荐、基于知识的推荐、混合推荐。
  • 关联分析：是一种在大规模数据集中寻找有趣关系的非监督学习算法，是利用一些有趣性的量度来识别数据库中发现的强规则。

1、基础概念

  • 频繁项集：经常【需要量化】出现在一块的物品的集合
  • 关联规则：暗示两种物品之间可能存在很强的关系
  • 事务：将数据看成一条条交易记录的集合，事务就是一条交易
  • 项：交易的每一个物品称为一个项
  • 项集：包含零个或者多个项的集合
  • k-项集：包含k个项的项集
  • 前件和后件：一个规则中先买了尿布后买了啤酒，尿布就是啤酒的前件、啤酒就是尿布的后件
  • 常用频繁项集的评估标准有：支持度、置信度、提升度；
    • 支持度就是几个关联的数据在数据集中出现次数占总数据集的比重。(举例：超市一天卖了5单，其中有2单同时出现了尿布和啤酒，那么{尿布、啤酒}的支持度就是2/5=0.4)，支持度常用来删除一些没意义的规则。
    • 置信度就是一个数据出现后，另一个数据出现的概率。（举例：买了尿布后会买啤酒的概率=两者同时出现的概率（两者的支持度）/尿布出现的概率（尿布的支持度））
    • 提升度：如果A事件的支持度本来就很高，然后求B事件发生后A事件的置信度，发现也很高，但并没有A事件本身的支持度高，就有可能误以为B事件的发生导致A事件发生的可能性增加了。所以加入了提升度的概念（举例：求A事件发生对B事件的提升度=AB同时发生的支持度/B事件发生的持度度），提升度大于1，表明A对B是有效的强关联规则，小于1表明A对B是无效的强关联规则。等于1，说明没有提升。
  • ★发现频繁项集和关联规则：如果一一遍历去找关联规则和频繁项集，计算量非常大，所以要进行筛选。
    • 1、首先设定最小支持度，最小置信度，找到满足最小支持度的所有项集，这些项集叫做频繁项集。
    • 2、从频繁项集中提取所有高置信度的规则，这些规则就是强关联规则。
    • 注意：如果一个项集是频繁的，那么它的所有子集也是频繁的。
    • 注意：如果一个项集是非频繁的，那么所有包含它的集合也是非频繁的。【通过这条规则减少计算量】

2、算法实现过程

  • Apriori算法原理：所有非频繁项集不用计算，减少计算量。获取apriori频繁项集是第一步，要通过apriori最终获取强关联规则，就要在频繁项集支持度的基础上，计算每种规则的支持度。
    在这里插入图片描述
  • 原始候选集构建1-项集：
# 数据集
dataset = [[1, 3, 4], [2, 3, 5], [1, 2, 3, 5], [2, 5]]
# 让候选集每一项变成不可变集合，进而获取1-项集
def creat_c1(data_set):c1 = []for data in data_set:for i in data:if i not in c1:c1.append(i)c1.sort()return list(map(frozenset,[{i} for i in c1])) # frozenset是将集合变成不可变集合，目的是最后让frozenset作为字典的key
c1 = creat_c1(dataset)
'''
[frozenset({1}),frozenset({2}),frozenset({3}),frozenset({4}),frozenset({5})]
'''
  • 由1-项集（C1）转为1-项频繁集（L1）推出k-项集转k-项频繁集的函数：通过支持度筛选频繁集；scanD()函数：获取所有k-项集的支持度和k-项集对应的k-项频繁集
# C1(1项集):L1（1项频繁项集）
# D：数据集
# Ck：k项集
# min_support:最小支持度
def scanD(D,Ck,min_support=0.1):support_dic = {}# 遍历原始交易记录for d in D:for c in Ck:# 判断是否是子集，是的话数量加1if c.issubset(d):support_dic[c] = support_dic.get(c,0) + 1 # 防止刚开始support_dic是空support_data = {} # 所有项集的支持度LK = [] # 频繁项集# 计算支持度for k,v in support_dic.items():support = v/len(D)support_data[k] = support
#     print(support_data) # 打印支持度# 获得频繁项集if support >= min_support:LK.append(k)# 返回频繁项集、所有项集支持度：return LK, support_data
  • 由1-项频繁集产生2-项集的方法推出：k-项频繁集产生k+1-项集的方法；apriori_gen()函数：获取所有k-项频繁集（Lk）对应的k+1-项集（Ck+1），如下图以2-项集生成方法说明：
    在这里插入图片描述
# L1(1频繁项集) => C2（2项集）
def apriori_gen(LK):Ck = []for i in range(len(LK)-1):for j in range(i+1,len(LK)):f_set = LK[i] | LK[j]# print(f_set)# 不能重复，新项集只能是k+1项if f_set not in Ck and len(f_set) == len(LK[0])+1:Ck.append(f_set)# print(Ck)return Ck
  • 获取频繁项集和频繁项集生成过程中产生的项集的支持度
import time
def apriori(D, min_support=0.1):c1 = creat_c1(D)L1,support1 = scanD(D,c1,min_support)# 所有频繁项集L_f = []# 所有项集支持度就直接添加到support1中# 循环while True:L_f.append(L1)# 项集C = apriori_gen(L1)# 项集——频繁项集L,support = scanD(D,C,min_support)L1 = Lsupport1.update(support)if len(L1)==0:breakreturn L_f,support1
  • 获取k项集满足最小置信度的强关联规则的集合
    计算置信度：confidence(X -> Y) = P(Y|X) = P(XY) / P(X)【在x发生的条件下Y发生的置信度】
    calculate_conf()函数：计算某个频繁项集对应的满足最小置信度的强关联规则的集合。
# 计算一个项集的所有强关联规则
# 计算置信度
# freqSet: 频繁项集
# H=[frozenset({i}) for i in freqSet]
# L, support_Data = apriori(dataset, min_support=n)
# brl = [ ]   # 保存强关联规则的列表
def calculate_conf(freqSet, H, supportData, brl, minConf=0.5):newH = [ ]# 遍历Hfor s in H:# 置信度conf = supportData[freqSet] / supportData[freqSet - s]# conf(3,5->1) = P(1, 3, 5) / P(3,5)  # display(f'--- {freqSet - s} -> {s} = {conf} ---')# 大于最小置信度的规则是强规则if conf >= minConf:# 保存强关联规则到brl中brl.append( (freqSet - s, "->" , s, ' = ', conf) )  newH.append(s)return newH

用一个2-项集测试下函数calculate_conf，发现对于2-项集，函数能够获取所有满足置信度要求的关联规则。

freqSet = frozenset({1, 3})
H = [frozenset({i}) for i in freqSet]
L, support_data = apriori(dataset, min_support=0.2)
brl = [ ]   # 保存强关联规则的列表
# display(freqSet, H)# 计算单个项集的置信度
calculate_conf(freqSet, H, support_data, brl, minConf=0.1)
brl
'''
[(frozenset({3}), '->', frozenset({1}), ' = ', 0.6666666666666666),(frozenset({1}), '->', frozenset({3}), ' = ', 1.0)]
'''
# 3-项集
freqSet = frozenset({1, 3, 5})
H = [frozenset({i}) for i in freqSet]
L, support_data = apriori(dataset, min_support=0.2)
brl = [ ]   # 保存强关联规则的列表
# display(freqSet, H)# 计算单个项集的置信度
calculate_conf(freqSet, H, support_data, brl, minConf=0.1)
brl
'''
[(frozenset({3, 5}), '->', frozenset({1}), ' = ', 0.5),(frozenset({1, 5}), '->', frozenset({3}), ' = ', 1.0),(frozenset({1, 3}), '->', frozenset({5}), ' = ', 0.5)]
'''

可以发现：在3项集中出现了问题，3项集中只有2-项集作为前件的情况，没有1-项集作为前件的情况，出现了统计不完全的情况。因此为了让统计结果齐全，需要重新写个函数完善calculate_conf()函数。

# 考虑2-项集，3-项集，4-项集...
def rules_from_freq(freqSet, H, supportData, brl, minConf=0.7):tmp = Truewhile tmp:tmp = False# 计算置信度newH = calculate_conf(freqSet, H, supportData, brl, minConf=minConf)# display(f'newH: {newH}')H = apriori_gen(newH)# display(f'H: {H}')# print('*' * 100)tmp =  not  (H==[ ] or len(H[0]) == len(freqSet))

测试：通过测试结果可以看出，完善之后的函数就能够获得所有满足要求置信度的关联规则

# 3-项集
freqSet = frozenset({1, 3, 5})
H = [frozenset({i}) for i in freqSet]
L, support_data = apriori(dataset, min_support=0.2)
brl = [ ]   # 保存强关联规则的列表
# display(freqSet, H)# 计算单个项集的置信度
rules_from_freq(freqSet, H, support_data, brl, minConf=0.1)
brl
'''
[(frozenset({3, 5}), '->', frozenset({1}), ' = ', 0.5),(frozenset({1, 5}), '->', frozenset({3}), ' = ', 1.0),(frozenset({1, 3}), '->', frozenset({5}), ' = ', 0.5),(frozenset({5}), '->', frozenset({1, 3}), ' = ', 0.3333333333333333),(frozenset({3}), '->', frozenset({1, 5}), ' = ', 0.3333333333333333),(frozenset({1}), '->', frozenset({3, 5}), ' = ', 0.5)]
'''
  • 获取强关联规则的置信度：获取给定项集L中满足置信度要求的强关联规则
def gen_rules(L, support_data, min_conf=0.5):big_rule_list = [ ]for i in range(1, len(L)):  # 遍历所有行，第一行除外for freqSet in L[i]:  # 遍历每一行的所有元素# display(freqSet)H = [frozenset({i}) for i in freqSet]# 求每个项集的强关联规则，会保存在big_rule_list中rules_from_freq(freqSet, H, support_data, big_rule_list, minConf=min_conf)return big_rule_list

3、apriori算法总结：通过总结疏通下apriori算法中求频繁项集和求强关联规则的函数构造方法

在这里插入图片描述

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.rhkb.cn/news/146862.html

如若内容造成侵权/违法违规/事实不符，请联系长河编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

leetCode 53.最大子数和 图解 + 贪心算法/动态规划+优化

leetCode 53.最大子数和 图解 + 贪心算法/动态规划+优化

53. 最大子数组和 - 力扣（LeetCode） 给你一个整数数组 nums ，请你找出一个具有最大和的连续子数组（子数组最少包含一个元素），返回其最大和。 子数组 是数组中的一个连续部分。 示例 1： 输入…
阅读更多...
字符串，字符数组，类型转换，整数越界，浮点数，枚举

字符串，字符数组，类型转换，整数越界，浮点数，枚举

目录 自动类型转换 强制类型转换 数据类型 sizeof 数据类型所占字节数 整数越界 浮点数 字符型 字符串变量 ​编辑字符串的输入输出 main函数的参数 ，argc,argv 单个字符输入输出 putchar getchar strlen,strcmp,strcat,strchr,strstr strlen 求字…
阅读更多...
BASH shell脚本篇4——函数

BASH shell脚本篇4——函数

这篇文章介绍下BASH shell中的函数。之前有介绍过shell的其它命令，请参考： BASH shell脚本篇1——基本命令 BASH shell脚本篇2——条件命令 BASH shell脚本篇3——字符串处理 函数是代码重用的最重要方式。Bash函数可以定义为一组命令，在b…
阅读更多...
【STM32 CubeMX】移植u8g2(一次成功)

【STM32 CubeMX】移植u8g2(一次成功)

文章目录 前言一、下载u8g2源文件二、复制和更改文件2.1 复制文件2.2 修改文件u8g2_d_setup文件u8g2_d_memory 三、编写oled.c和oled.h文件3.1 CubeMX配置I2C3.2 编写文件oled.holed.c 四、测试代码main函数测试代码 总结 前言 在本文中，我们将介绍如何在STM32上成…
阅读更多...
电脑显示系统错误怎么办？

电脑显示系统错误怎么办？

有时我们在开机时会发现电脑无法开机，并显示系统错误，那么这该怎么办呢？下面我们就一起来了解一下。 方法1. 替换SAM文件解决问题 1. 重启电脑并进入安全模式。 Win8/10系统：在启动电脑看到Windows标志时，长按电源键…
阅读更多...
gradle中主模块/子模块渠道对应关系通过配置实现

gradle中主模块/子模块渠道对应关系通过配置实现

前言： 我们开发过程中，经常会面对针对不同的渠道，要产生差异性代码和资源的场景。目前谷歌其实为我们提供了一套渠道包的方案，这里简单描述一下。 比如我主模块依赖module1和module2。如果主模块中声明了2个渠道A和B&#xff0c…
阅读更多...
【Java 进阶篇】JDBC ResultSet 遍历结果集详解

【Java 进阶篇】JDBC ResultSet 遍历结果集详解

在Java数据库编程中，经常需要执行SQL查询并处理查询结果。ResultSet（结果集）是Java JDBC中用于表示查询结果的关键类之一。通过遍历ResultSet，我们可以访问和操作从数据库中检索的数据。本文将详细介绍如何使用JDBC来遍历ResultSe…
阅读更多...
手把手教你做个智能加湿器（一）

手把手教你做个智能加湿器（一）

一、前言 目前常见的加湿器类电子产品一般是由PCBA和外壳组成，我们将从PCB设计，然后编写软件，接着设计外壳，设计出一个完整的产品出来。 需要使用到软件： Altium Designer 17 SolidWorks 2019 Keil 4 二…
阅读更多...
Error: node: unknown or unsupported macOS version: :dunno 错误解决

Error: node: unknown or unsupported macOS version: :dunno 错误解决

一、原因 今天安装 brew install node报错了，错误信息如下： 二、解决方案 1）查找homebrew-cask安装位置 echo $(brew --repo homebrew/homebrew-cask) // 输出 /opt/homebrew/Library/Taps/homebrew/homebrew-cask2）使用 gi…
阅读更多...
selenium下载安装 -- 使用谷歌驱动碰到的问题

selenium下载安装 -- 使用谷歌驱动碰到的问题

安装教程参考: http://c.biancheng.net/python_spider/selenium.html 1. 谷歌浏览器和谷歌驱动版本要对应(但是最新版本谷歌对应的驱动是没有的,因此要下载谷歌历史其他版本): 谷歌浏览器历史版本下载: https://www.chromedownloads.net/chrome64win/谷歌浏览器驱动下载: http:…
阅读更多...
计算机网络分层结构

计算机网络分层结构

一、OSI参考模型(法定标准) 1.由国际标准化组织(ISO)提出的开放系统互连(OSI)参考模型 2.OSI七层结构： 3.通信过程： 4.各层功能 应用层-能和用户交互产生网络流量(需要联网)的程序，常见协议有文件传输(FTP)、电子邮件(SMTP)、万维网(HTTP)…
阅读更多...
SpringCloud（一）Eureka、Nacos、Feign、Gateway

SpringCloud（一）Eureka、Nacos、Feign、Gateway

文章目录 概述微服务技术对比 Eureka服务远程调用服务提供者和消费者Eureka注册中心搭建注册中心服务注册服务发现Ribbon负载均衡负载均衡策略饥饿加载 NacosNacos与Eureka对比Nacos服务注册Nacos服务分集群存储NacosRule负载均衡服务实例权重设置环境隔离 Nacos配置管理配置热…
阅读更多...
算法精品讲解(2)——DP问题入门（适合零基础者，一看就会）

算法精品讲解(2)——DP问题入门（适合零基础者，一看就会）

目录 前言 DP问题它是什么（了解） 从中学的例题谈起 再来说一下，DP问题的核心思想（理解） DP问题的解决方法 先说方法论： 再说具体的例子 例一： 例二： 例三： DP和…
阅读更多...
使用ExLlamaV2在消费级GPU上运行Llama2 70B

使用ExLlamaV2在消费级GPU上运行Llama2 70B

Llama 2模型中最大也是最好的模型有700亿个参数。一个fp16参数的大小为2字节。加载Llama 270b需要140 GB内存(700亿* 2字节)。 只要我们的内存够大，我们就可以在CPU上运行上运行Llama 2 70B。但是CPU的推理速度非常的慢，虽然能够运行，速度我…
阅读更多...
postgresql-管理数据表

postgresql-管理数据表

postgresql-管理数据表 创建表数据类型字段约束表级约束模式搜索路径 修改表添加字段删除字段添加约束删除约束修改字段默认值修改字段数据类型重命名字段重命名表 删除表 创建表 在 PostgreSQL 中，使用 CREATE TABLE 语句创建一个新表： CREATE TABLE …
阅读更多...
量化交易全流程（四）

量化交易全流程（四）

本节目录 数据准备（数据源与数据库） CTA策略 数据源： 在进行量化分析的时候，最基础的工作是数据准备，即收集数据、清理数据、建立数据库。下面先讨论收集数据的来源，数据来源可分为两大类：免…
阅读更多...
nodejs开发环境搭建

nodejs开发环境搭建

Nodejs是一个开源的、跨平台JavaScript运行时环境，其使用V8引擎对JavaScript脚本执行解释，在前后端分离的应用架构设计中，其既能支持web页面服务应用的开发、也能支持后端接口服务应用的开发，类似于Java语言的J2EE运行时环境&…
阅读更多...
Django基础入门操作 （Django-01）

Django基础入门操作 （Django-01）

一 背景介绍 Django是一个开源的 Web应用框架，由Python写成。采用了MTV的框架模式，它最初是被用来做CMS（内容管理系统）软件。 官方中文文档：Django 文档 | Django 文档 | Django 应用：做内容管理系统(新…
阅读更多...
Swing程序设计（4）JLabel标签和导入图片

Swing程序设计（4）JLabel标签和导入图片

文章目录 前言一、JLabel标签 1.介绍2.实例展示二、JLabel中绘图和导入图片 1.自定义绘图2.导入图片总结 前言 本文介绍了Swing程序中JLabel标签的使用，以及在标签中导入图片和自定义图标的方法。 一、JLabel标签的使用 1.介绍 JLabel标签：在Swing程序中…
阅读更多...
【生物信息学】计算图网络中节点的中心性指标：聚集系数、介数中心性、度中心性

【生物信息学】计算图网络中节点的中心性指标：聚集系数、介数中心性、度中心性

目录 一、实验介绍 二、实验环境 1. 配置虚拟环境 2. 库版本介绍 3. IDE 三、实验内容 0. 导入必要的工具 1. 生成邻接矩阵simulate_G: 2. 计算节点的聚集系数 CC(G): 3.计算节点的介数中心性 BC(G) 4. 计算节点的度中心性 DC(G) 5. 综合centrality(G) 6. 代…
阅读更多...
最新文章
推荐文章

Copyright @ 2022~2023