成为AI产品经理——模型评估概述

目录

一、模型宣讲和评估的原因

二、模型宣讲

三、模型评估

1. 重要特征

① 特征来源

②特征意义

2.选择测试样本

3.模型性能和稳定性


一、模型宣讲和评估的原因

刘海丰老师提到他们在做一个金融AI产品未注重模型指标,过于注重业务指标,导致产生了大量的业务损失。

主要问题为:

1.模型上线未评估

2.模型上线未监控

3.特征无评估、无监控

因此他们增加了模型宣讲和模型评估的节点,对这两个节点的工作内容和交付物做了相应的规定。

二、模型宣讲

首先算法同学在宣讲之前给产品经理交付模型报告

模型报告包括:模型设计、算法选型、特征来源、测试结果。

产品经理在看过模型报告之后请算法同学进行模型宣讲,宣讲内容为:

1.为什么选择这个算法?

2.选择了哪些特征?

3.训练样本是哪些?

4.测试的方案和结果是什么?

宣讲目的是搞清楚算法的逻辑且对于算法同学容易忽略的三个问题进行评估:

1.特征的来源:来源是否合理,避免出现后续特征无法获取的情况

2.训练样本的合理性:避免选择的样本数据和业务数据不符合,比如:样本太久

3.测试结果是否符合预期:测试结果太好或者太差,无法满足业务预期

这里是我们给模型上线的第一道保障。在这个环节中,我们需要知道算法的基本逻辑,特征来源的稳定性,训练样本的合理性以及测试结果是否符合预期,我们对于模型进行粗略的评估。

三、模型评估

很多同学对于模型宣讲和模型评估之间的差异有疑惑,这里说明一下:

模型宣讲我们只是进行粗略评估,但是此时的模型评估环节我们要站在业务的角度上对模型进行详细的评估。

模型评估产物:输出模型验收报告。

这里是刘老师给出的一个例子,不同业务标准的评估指标不相同,可以进行相应的调整。

1.重要特征

2.选择测试样本

3.模型性能和稳定性测试结果

1. 重要特征

我们需要列出重要特征,对于每一个重要特征的来源和意义进行评估。

① 特征来源

如果这个特征来自于外部数据,那么我们就要关注这个特征的可持续性和稳定性。

②特征意义

这个特征是否符合业务或者是否符合常理。eg:我们要用到夜间购物特征,如果这个特征设置在23点-2点不合理。一般设置在0点-5点。

2.选择测试样本

我们需要根据业务的场景和特性选择指标,比如我们观察一个线上商城的购买量,我选择的测试样本应该是2019.1-2019.12月的样本,因为购买能力会根据季节和周期进行浮动,我们应该尽量全面的选择样本。选择好测试样本之后我们交给算法同学进行测试,看是否达到业务预期效果。

注意样本的选择直接决定了测试结果,所以一定要谨慎选择,符合业务场景。

3.模型性能和稳定性

模型性能和稳定性是最最重要的,直接决定了模型是否能够上线。

模型性能分为四步进行评估:

  • 评估重要特征的测试结果是否符合预期:包括特征IV,KS等等
  • 评估重要特征的稳定性:一般是PSI值(PSI<0.2)
  • 评估模型性能测试结果是否符合预期:包括模型KS、AUC、MSE等等
  • 评估模型的稳定性,一般也是PSI值(PSI<0.2)

如果一个算法是回归模型,就不需要AUC和KS这些指标啦,随机应变。

至此,模型验收结束,就可以进行后期的模型部署,工程开发,集成测试,集成验收,产品上线的环节了。

产品上线流程图如下所示:

参考文献:刘海丰——《成为AI产品经理》 

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/204276.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Python小知识

个人学习笔记&#xff0c;用于记录使用过程中好用的技巧、好用的库。 1 小知识 1.1 相对路径 1.2 打包Exe文件 命令&#xff1a; pyinstaller -F main.py其中-F&#xff1a;覆盖之前打包的文件 mian.py&#xff1a;需要打包的Python文件 PS&#xff1a;使用pyinstaller 5.1…

Docker,从入门到精通

1、DockerFile 介绍 dockerfile 是啥?dockerfile 用来构建 docker 镜像的文件。 具体步骤&#xff1a; 1、编写一个 dockerfile 文件 2、docker build 构造一个镜像 3、docker run 运行镜像 4、docker push 发布镜像 DockerFile 构建过程 1、每个保留关键字都必须是大…

人工智能-优化算法之凸集

凸性 凸性&#xff08;convexity&#xff09;在优化算法的设计中起到至关重要的作用&#xff0c; 这主要是由于在这种情况下对算法进行分析和测试要容易。 换言之&#xff0c;如果算法在凸性条件设定下的效果很差&#xff0c; 那通常我们很难在其他条件下看到好的结果。 此外&…

【Vue】绝了!还有不懂生命周期的?

生命周期 Vue.js 组件生命周期&#xff1a; 生命周期函数&#xff08;钩子&#xff09;就是给我们提供了一些特定的时刻&#xff0c;让我们可以在这个周期段内加入自己的代码&#xff0c;做一些需要的事情; 生命周期钩子中的this指向是VM 或 组件实例对象 在JS 中&#xff0c;…

微服务实战系列之Cache

前言 欢迎来到Cache&#xff08;缓存&#xff09;的世界&#xff01; 自从世界第一台计算机诞生之日起&#xff0c;人们对效率的渴望逐步增强。从CPU到存储&#xff0c;从芯片到内存&#xff0c;一批又一批的先驱以一种孜孜不倦的“工匠”精神&#xff0c;为计算机运行效率的提…

华为P40无法链接adb的解决记录

真的很讨厌华为的设备&#xff0c;很多东西啥设备都能跑得好好的&#xff0c;就华为会出问题&#xff0c;简直就是手机界的IE。 情况&#xff1a;突然无法链接adb到P40&#xff0c;拔插无效&#xff0c;关闭开发人员选项再打开也无效&#xff0c;撤销USB调试授权也无效&#x…

西南科技大学电路分析基础实验A1(一阶电路的设计)

目录 一、实验目的 二、实验设备 三、预习内容(如:基本原理、电路图、计算值等) 四、实验数据及结果分析(预习写必要实验步骤和表格) 1. 观测一阶电

leetcode:有效的括号

题目描述 题目链接&#xff1a;20. 有效的括号 - 力扣&#xff08;LeetCode&#xff09; 题目分析 题目给了我们三种括号&#xff1a;&#xff08;&#xff09;、{ }、[ ] 这里的匹配包括&#xff1a;顺序匹配和数量匹配 最优的思路就是用栈来解决&#xff1a; 括号依次入栈…

用于计算机屏幕安全摄像头系统:Screen Anytime Crack

Screen Anytime 是一款软件&#xff0c;旨在自动将整个用户会话或 PC/服务器/VM/Kiosk 的 /RDP/Citrix/RemoteApp 会话的屏幕活动记录到视频日志文件中&#xff0c;以用于记录、审核和监控目的。通过重播其高度压缩的视频&#xff0c;您可以轻松回顾单台计算机或一组服务器/PC …

Joint Bilateral Upsampling

Abstract 图像分析和增强任务&#xff08;例如色调映射、着色、立体深度和蒙太奇&#xff09;通常需要在像素网格上计算解决方案&#xff08;例如&#xff0c;曝光、色度、视差、标签&#xff09;。计算和内存成本通常要求在下采样图像上运行较小的解决方案。尽管通用上采样方…

只需十分钟快速入门Python,快速了解基础内容学习。零基础小白入门适用。

文章目录 简介特点搭建开发环境版本hello world注释文件类型变量常量数据类型运算符和表达式控制语句数组相关函数相关字符串相关文件处理对象和类连接mysql关于Python技术储备一、Python所有方向的学习路线二、Python基础学习视频三、精品Python学习书籍四、Python工具包项目源…

matlab绘图函数plot和fplot的区别

一、背景 有的函数用plot画就会报错&#xff0c;显示数据必须为可转换为双精度值的数值、日期时间、持续时间、分类或数组。 如下图所示&#xff1a; 但用fplot函数就没有问题&#xff0c;因此这里记录一下两者的区别&#xff0c;如果使用不当&#xff0c;画出的图可能就是下…

以太网通讯协议小结--持续更新中

一、以太网介绍 以太网是一种产生较早&#xff0c;使用相当广泛的局域网技术&#xff0c;局域网就是一个区域的网络互联&#xff0c;可以使办公室也可以是学校等等&#xff0c;大小规模不一。 目前以太网根据速度等级分类大概分为&#xff1a;标准以太网&#xff08;10Mbit/s…

Redis-Redis高可用集群之水平扩展

Redis3.0以后的版本虽然有了集群功能&#xff0c;提供了比之前版本的哨兵模式更高的性能与可用性&#xff0c;但是集群的水平扩展却比较麻烦&#xff0c;今天就来带大家看看redis高可用集群如何做水平扩展&#xff0c;原始集群(见下图)由6个节点组成&#xff0c;6个节点分布在三…

JOSEF 双可调漏电继电器 ZLR-T81 ZCT-80 面板嵌入式安装

ZLR-T系列漏电继电器&#xff08;以下简称继电器&#xff09;适用于交流电压为380.660V.至1140V系统中源率为50HZ电流为15~4000A线路中做有无中性点漏电保护. 系列型号 ZLR-T81漏电继电器 ZLR-T81ZCT-35漏电继电器 ZLR-T81ZCT-80漏电继电器 ZLR-T81ZCT-120漏电继电器 一、…

csv文件EXCEL默认打开乱码问题

这里讨论的问题是&#xff0c;当用记事本打开带有中文字符的csv正常时&#xff0c;用excel打开却是乱码。 简单概括就是&#xff1a;编码问题&#xff0c;windows的 excel打开csv文本文件时&#xff0c;默认使用的是系统内的ANSI&#xff0c;在中文环境下就是GB2312。如果写文件…

华为ospf和isis双点双向路由重分布的次优路径和环路终极解决方案

r5上直接导入直连路由 r3和r2进行双点双向路由重分布 查看R3去往R5产生了次优路径&#xff1a; 因为是R2先互相引入的isis和ospf&#xff0c;所以R3会产生次优路径&#xff0c;如果是R3先相互引入ospf和isis&#xff0c;那就是R2去R5会产生次优路径&#xff0c;而R3本身不会。…

Spark_Spark高阶特性

wscg filter导致断链 Codegen 向量化 simdjson Orc Parquet 支持批量读取 spark本身对parquet支持比较好&#xff0c;因为parquet

基于FPGA的五子棋游戏设计

基于FPGA的五子棋游戏设计 本文基于FPGA设计五子棋游戏&#xff0c;使用按键输入&#xff0c;使用VGA接口输出。五子棋的棋具与围棋相同&#xff0c;棋子分为黑白两色&#xff0c;棋盘为1010&#xff0c;棋子放置于棋盘线交叉点上。两人对局&#xff0c;各执一色&#xff0c;轮…

牛客 算法题 golang语言实现

题目 HJ101 输入整型数组和排序标识&#xff0c;对其元素按照升序或降序进行排序 描述 输入整型数组和排序标识&#xff0c;对其元素按照升序或降序进行排序数据范围&#xff1a; 1 ≤ &#xfffd; ≤ 10001≤n≤1000 &#xff0c;元素大小满足 0 ≤ &#xfffd; &#…