可解释机器学习导论

可解释机器学习公开课,包含人工智能可解释性、显著性分析领域的导论、算法综述、经典论文精读、代码实战、前沿讲座。由B站知名人工智能科普UP主“同济子豪兄”主讲。 课程主页:https://github.com/TommyZihao/zihao_course/blob/main/XAI 一起打开AI的黑盒子,洞悉AI的脑回路和注意力,解释它、了解它、改进它,进而信赖它。知其然,也知其所以然。 第一讲:什么是可解释机器学习?为什么学?学了有什么用?应用场景、研究思路和经典方法。

一.可解释机器学习

可解释性表示模型可以利用人类可认知的说法进行的解释和呈现。机器学习模型本身是一个黑盒,我们虽然可以从中获得准确的预测,但是我们无法清楚地看到背后的逻辑,这就比如软件测试中的黑盒测试,用户可以输入,但是看不到程序中间的运行过程。

模型的解释方法是为了让我们更好地了解过程,如何从模型中提取到重要的和主要的模型解释是我们关注的问题。

可解释机器学习近年来的发展:可解释人工智能被列为数据和分析技术领域的前10个重要趋势之一。2018年,欧洲强调对科技是机器学习的追求,谷歌微软百度等人工智能内的top企业近年来也对可解释学习相关技术的研究。

近年来知识图谱、自然语言处理、计算机视觉等应用于我们的生活,我们渐渐的对人工智能产生了依赖,无人驾驶、智能交通系统、航天航空等都在应用,但如果AI在学习过程中犯错,我们如何找到Ai的犯错点呢?

工业领域需要现有的可应用的模型的解释才可以落地到相关的领域应用

解释方法有助于知识的表现和发现,在知识图谱、医疗、交通等多个领域中可解释发挥着重要的应用。

这里简单举例:

1.一阶段的目标检测算法如果无法精准检测到目标物体,会导致该算法在落地后对落地的领域造成损失。

2.高校教师发现学生的期末考试成绩和学生是否带手机上课有重大的关系

3.力扣刷题发现只要在检测用例和时间复杂度、空间复杂度三者要求都符合的情况下,机器验证代码通过

在课程中,通过子豪大佬的讲解,他为我们列出来了我们为什么要学习可解释机器学习:

  1. 研究AI的脑回路,即研究AI的本质
  2. 可解释分析是机器学习和数据挖掘的通用研究方法
  3. 和所有AI方向交叉融合: 数据挖掘、计算机视觉、自然语言处理、强化学习、知识图谱、联邦学习。
  4. 包括但不限于:大模型、弱监督、缺陷异常检测、细粒度分类、决策AI和强化学习、图神经网络、AI纠偏、A14Science、MachineTeaching、对抗样本、可信计算、联邦学习
     

 二.前沿的AI方向

最近chatGPT的出现,该功能十分强大,甚至可以写代码,消除人类的消极,这是很有意义的,同时他的表示能力强,如果未来应用于搜索引擎,人工智能其实可以给人带来意想不到的惊喜。

70年代的机器证明到90年代的专家系统,再到目前的人工智能领域,AI给我们带来了很多的惊喜和意外

海量数据的产生,每天都有大量数据产生,很多企业他们具有高的算力资源,但是我们缺少这样的高算力,我们更加需要多了解知识,可解释学习便是我们在探索前沿AI方向的一个值得我们提前学习和探索的知识。

可解释性好的机器学习算法有哪些 

目前为止,解释性较好的就是基于统计的机器学习算法,他们是使用数学公式和白化式的推导过程表达的,比如聚类算法,日常生活中人以聚类,物以群分,如果你身边的人被别人打上标签,那么你可能也逃不掉。

计算机中,很多软件的代码思想都是if elseif ,我们日常在生活中也是如此,决策树更是利用了if else这样的思想,他的方法很有可行性意义,也容易理解。

 当下,神经网络虽然拟合能力较强,但他的可解释性差,而像其他的逻辑回归,也许拟合能力较差,但他的可解释性强,当你想要去研究一个算法或者一个领域,那么你要学会去研究他的可解释性。

在进行可解释性分析的时候,我们可以根据以下流程进行:

 三.深度学习模型的可解释性分析

比如对于卷积神经网络来说,有几种可解释性的方法,这些是非常有趣和有前景的

  • 可视化卷积核、特征图
  • 遮挡Mask、缩放、平移、旋转
  • 找到能使某个神经元激活的原图像素,或者小图
  • 基于类激活热力图(CAM) 的可视化
  • 语义编码降维可视化
  • 由语义编码倒推输入的原图
  • 生成满足某些要求的图像 (某类别预测概率最大)
  • 对破损图像根据经验和图像语义特征进行推敲来修复图像(这一点是我自己加的,请大家多多指正)

扩展阅读

  1. 子豪大佬出品的一个代码,从中可以学习到很多东西https://github.com/TommyZihao/Train_Custom_Dataset/图像分类
  2. pytorch的一个库,里面包含了很多很多可解释性分析https://github.com/utkuozbulak/pytorch-cnn-visualizations
  3. 以及最后还有子豪兄做的一个论文的收集,在他的Readpaper里面都有给出来https://readpaper.com/user/collect/638623946528292864

课后思考题:

  1.  为什么要对机器学习、深度学习模型做可解释性分析和显著性分析 ?
  2. 如何回答“人工智能黑箱子灵魂之问” ?
  3. 人工智能的可解释性分析有哪些应用场景?
  4. 哪些机器学习算法本身可解释性就好?为什么?
  5. 对计算机视觉、自然语言处理、知识图谱、强化学习,分别如何做可解释性分析?
  6. 在你自己的研究领域和行业,如何使用可解释性分析?
  7. 可以从哪几个角度实现可解释性分析 ?
  8. Machine Teaching有哪些应用场景 ?
     

总结

 学习完导论之后,结合我自己目前在做的方向觉得非常不错

我在这里给出自己的拙见对于可解释性分析。通过学习可解释性分析,你会增加自己的学习兴趣,不仅知其然还要知其所有然,无论未来你从事科研还是工作,可解释性的分析都会在你的工作的,因为无论是产品还是论文,都需要一个可解释性。目前,AI应用于大多数领域,产生了 可信式Ai.

可解性分析可以帮助我们知其然,也知其所有然。折对于未来我们我们做哪一个领域都具有很大的帮助。可以帮助AI更加的贴近生活,落地生活,增强它的可信度。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/33002.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

【蓝桥真题】——2022年蓝桥pythonB组省赛真题+解析+代码(通俗易懂版)

大家好,我是爱分享的小蓝,欢迎大家来对答案~ 全文目录 🏆混奖感言 ⭐试题 A: 排列字母 💡思路点拨 🍞代码详解 ⭐试题 B: 寻找整数 💡思路点拨 🍞代码详解 ⭐试题 C: 纸张尺寸 &…

计算机随机试题是这么随机的,用 Excel 生成随机抽题的考试试卷

随机抽题是目前非常流行的一种组卷形式,不仅现在的计算机考试系统基本上都具有随机抽题组卷功能,纸笔考试也是如此。因为现在强调教考分离,就学校内部而言,很多都是有现成的试题库,考试时根据要求在试题库中随机抽题组…

深度洞见|品牌如何布局微信生态,玩转私域运营?

这是神策研究院深度洞见系列文章的第三期,重点介绍微信生态的基础能力、微信作为私域运营主战场的优势及主要趋势。本文共计 3340 字,阅读时间约 10 分钟。 近两年消费市场的低迷、疫情的反复让零售难上加难,私域运营逐渐承担起了品牌零售商…

企业微信服务商代开发自建应用配置以及对接

目录 1.代开发应用模板创建与配置 1.1创建代开发应用模板 1.2模板配置开发信息 1.3模板回调处理微信后台通知事件 1.4应用回调URL配置 1.5获取代开发应用secret(permanent_code) 2.代开发应用上线 3.代开发应用获取企业微信用户信息 1.代开发应用模板创建与配置 1.1创建…

从“在哪儿”到“去哪儿”,广和通5G+Cat1+GNSS模组全面赋能定位应用场景

从日常导航寻路,到信息定位,再到资产追踪,现代生活与工作几乎都无法离开“位置信息”而运作。无论是物联网应用场景的实现,还是物联网商业模式的创新,都需要定位信息作为数据支撑。根据Market Insight Reports报告预测…

再记公式弱爆了!用 ChatGPT 将 Excel 工作效率提高 10 倍

公众号关注 「奇妙的 Linux 世界」 设为「星标」,每天带你玩转 Linux ! 在未来,精通 Excel 或许不再是简历亮点了。 ChatGPT 自去年 11 月 30 日 OpenAI 重磅推出以来,这款 AI 聊天机器人迅速成为 AI 界的「当红炸子鸡」。 一经发…

最新AI创作系统+支持ai绘画+支持GPT4.0+实时语音识别输入+文章资讯发布功能+用户会员套餐+后台一键版本更新!

最新AI创作系统支持ai绘画支持GPT4.0实时语音识别输入文章资讯发布功能用户会员套餐后台一键版本更新! AI创作系统一、源码系统介绍二、AI创作系统程序下载三、安装教程四、主要功能展示五、更新日志 AI创作系统 AI创作系统: 1、提问:程序已经支持GPT3.…

最新AI创作ChatGPT系统V5.0.5+支持GPT4.0+支持ai绘画+实时语音识别输入+用户会员套餐

最新AI创作ChatGPT系统V5.0.5支持GPT4.0支持ai绘画实时语音识别输入用户会员套餐 AI创作ChatGPT系统一、源码系统介绍二、AI创作系统程序下载三、安装教程四、主要功能展示五、更新日志 程序已支持ChatGPT4.0、Midjourney绘画、GPT3.5绘画、新增绘画广场功能、Prompt功能&#…

如何制作“虚拟主播”?小灰一分钟教给大家!

什么是虚拟主播? 虚拟主播也被称为数字人,是一种通过计算机生成图像技术创建的虚拟角色,用于制作视频和直播,甚至是全息投影。 虚拟主播早就不是一个新概念了,前几年在日本很流行的虚拟网红初音未来、绊爱,…

手把手教你打造自己的 AI 虚拟主播

零、写在前面一、 准备环境二、配置软件环境2.1 OBS 安装2.2. VTube Studio 安装 三、开启 B 站直播四、开启 AI 主播五、直播最终效果 零、写在前面 AI 直播在近年来得到了快速的发展和普及,它已经成为了直播平台的重要组成部分。目前,许多知名的直播平…

Linux下基于UDP的简易多人聊天室创建——群聊、私聊、上线通知(Socket编程)

Linux下基于UDP的简易多人聊天室创建(Socket编程) OSI和TCP/IP:关于TCP/IP协议关于UDP协议UDP编程的一般步骤[^2] Socket套接字网络编程UDP网络聊天室实现功能概述服务器编程客户端编程运行结果 总结遇到的问题服务器编程客户端编程 本文采用…

基于Linux下TCP/IP协议局域网聊天室

这几天一直在看TCP/IP这块的内容,写个简单socket通信demo,实现了多个客户端相互发送消息,以及服务端给多个客户端发送上线/下线消息 基本框架: server.c #include <stdio.h> #include <stdlib.h> #include <string.h> #include <stdbool.h> #inc…

第22节 NAT——实现公私有IP地址转换

NAT 1 NAT概述1.1 IP地址概述1.2NAT概述 2 NAT分类2.1 静态NAT2.2 动态NAT2.3 PAT2.4 静态PAT 3 NAT命令3.1 定义内外网接口3.2 配置PAT3.3 配置静态端口转换 4 路由器工作原理归纳完善5 总结 1 NAT概述 1.1 IP地址概述 ipv4地址使用现状&#xff1a;现在已严重不够用。仅ABC…

Linux_C_tcp/ip通信

目录 代码相互收发文本交互 遇到的问题 代码 相互收发 server代码 /********** 1、在服务器端接受消息时知道对方的IP和端口提示&#xff1a;bind出现&#xff1a;Address already in use 方法&#xff1a;netstat -nap查看 用kill -9 pid杀死 2、利用TCP实现文件传输 **…

法大大Luke:打造深度生态,实现联合创新

4月26日&#xff0c;国内领先的电子合同和电子签云服务平台法大大举办了以“数智‘签’引&#xff0c;万物生长”为主题的春季产品发布会&#xff0c;并推出全新一代数智化签约管理平台。该平台型产品经过2年半的调研分析及打磨验证&#xff0c;聚焦新的市场环境下企业、组织、…

在阿里6年,但今年这情况,劝大家还是多一手准备吧

大家期待的经济繁荣&#xff0c;没有来。 往年的金三银四&#xff0c;跳槽涨薪&#xff0c;也没有来。 来了的&#xff0c;是大公司裁员的消息频频爆出。 来了的&#xff0c;是ChatGPT&#xff0c;第一批受到影响的人已经失业了。 而且你有没有发现&#xff0c;它平时没什么…

【企业架构设计实战】大数据架构设计

目录 数据架构概述 什么是数据? 什么是数据架构

【企业架构设计实战】5 大数据架构设计

数据架构概述 什么是数据? 一个企业的数字化核心是数据,数据化的价值依赖于数据的标准和质量,数据对一个企业来说至关重要,它也是整个信息化建设及企业架构的核心。数据具有多样性,有结构化的、非结构化的,与业务相关的、与系统相关的,企业内部的、企业外部的等。 从数据…

找工作之前问问自己做好这些准备以及知道这些面试题的答案了吗?

根据回忆写下的面试要点&#xff0c;都是比较常见的问题。大家可以对照回答下&#xff0c;不清楚的可以查下资料补充下。 今年虽然疫情开放了&#xff0c;但是现在的Android开发的市场行情明显明显比之前稳定了许多&#xff0c;现在大厂疯狂裁员&#xff0c;小公司要求还挺高的…

OceanBase CTO杨传辉:放手去干,这行没有35岁危机

近日&#xff0c;OceanBase CTO 杨传辉做客 CSDN 《开谈&#xff1a;中国开源数据库新格局》栏目&#xff0c;中达金桥资深数据库专家卢东明对话杨传辉等中国领先数据库厂商从业者。对话开场&#xff0c;杨传辉给 OceanBase 打了 3 个标签&#xff1a;分布式、性价比、HTAP&…