7_分类算法—逻辑回归

文章目录

  • 逻辑回归:
  • 1 Logistic回归(二分类问题)
    • 1.1 sigmoid函数
    • 1.2 Logistic回归及似然函数(求解)
    • 1.3 θ参数求解
    • 1.4 Logistic回归损失函数
    • 1.5 LogisticRegression总结
  • 2 Softmax回归(多分类问题)
    • 2.1 Softmax算法原理
    • 2.2 Softmax算法损失函数
    • 2.3 Softmax算法梯度下降法求解
  • 3 总结

逻辑回归:

  • 线性回归的式子作为输入
  • 判断某一类别的概率(根据数据大小作出判断)
  • 应用场景:二分类问题(哪一个类别少,判定的概率值是指的这个类别。)
  • 返回的是概率值

1 Logistic回归(二分类问题)

在这里插入图片描述
在这里插入图片描述

输出:[0,1]区间的概率值,默认0.5作为阀值

1.1 sigmoid函数

注:g(z)为sigmoid函数

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

1.2 Logistic回归及似然函数(求解)

在这里插入图片描述
在这里插入图片描述

1.3 θ参数求解

Logistic回归θ参数的求解过程为(类似梯度下降方法):

在这里插入图片描述

1.4 Logistic回归损失函数

与线性回归原理相同,但由于是分类问题,损失函数不一样,只能通过梯度下降求解

两种表示方式:

方法一:

在这里插入图片描述

方法二:(推荐)

在这里插入图片描述

1.5 LogisticRegression总结

  • 应用:广告点击率预测、电商购物搭配推荐
  • 优点:适合需要得到一个分类概率的场景
  • 缺点:当特征空间很大时,逻辑回归的性能不是很好(看硬件能力)

2 Softmax回归(多分类问题)

  • softmax回归是logistic回归的一般化,适用于K分类的问题,第k类的参数为向量θk,组成的二维矩阵为θk*n
  • softmax函数的本质就是将一个K维的任意实数向量压缩(映射)成另一个K维的实数向量,其中向量中的每个元素取值都介于(0,1)之间。
  • softmax回归概率函数为:
    在这里插入图片描述

2.1 Softmax算法原理

在这里插入图片描述

2.2 Softmax算法损失函数

在这里插入图片描述

2.3 Softmax算法梯度下降法求解

在这里插入图片描述
在这里插入图片描述

3 总结

  • 线性模型一般用于回归问题,Logistic和Softmax模型一般用于分类问题
  • 求θ的主要方式是梯度下降算法,梯度下降算法是参数优化的重要手段,主要是SGD,适用于在线学习以及跳出局部极小值
  • Logistic/Softmax回归是实践中解决分类问题的最重要的方法
  • 广义线性模型对样本要求不必要服从正态分布、只需要服从指数分布簇(二项分布、泊松分布、伯努利分布、指数分布等)即可;广义线性模型的自变量可以是连续的也可以是离散的。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/79545.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

只会用插件可不行,这些前端动画技术同样值得收藏-JavaScript篇(下)

目录 前言 介绍 基本使用 关键帧 KeyframeEffect的三种类的声明 keyframes options 动画对象 全局Animation类 标签中的animate函数 总结 相关代码: 前言 接着上文往下介绍,上篇文章我们对JS原生动画和贝塞尔曲线有了一个详细的认识&#x…

物联网潜在的巨大价值在于大数据分析

物联网潜在的巨大价值在于大数据分析 从数据里去挖掘市场或者用户的精准需求。 往小的说,后台可以统计用户家里各各插座一年甚至更久的用电情况,这些数据也可以通过app或者小程序展现给用户。 用户可以很直观看到自己一年的用电情况,哪个家…

23年电赛D题-信号调制方式识别与参数估计装置

红叶何时落水 题目 题目分析 该题目的是制作一个信号检测以及解调装置 主要的任务有三个 1.六种信号的识别 2.信号相关参数的测量 3.信号解调 任务一 识别信号有很多思路,最简单的方式便是通过对信号进行FFT分析,分析其中的各个谐波的特征值。 …

全面升级:华为鸿蒙HarmonyOS4正式发布,玩趣个性化,小艺AI升级

8月4日新闻,今天下午,华为正式发布了最新版本的鸿蒙操作系统——HarmonyOS 4! 在华为发布会上,鸿蒙HarmonyOS迎来了一系列令人激动的功能升级。其中包括个性化空间、多种生产力工具以及增强的手机AI助手"小艺"。这次更…

【探索Linux】—— 强大的命令行工具 P.2(Linux下基本指令)

前言 前面我们讲了C语言的基础知识,也了解了一些数据结构,并且讲了有关C的一些知识,也相信大家都掌握的不错,今天博主将会新开一个Linux专题,带领大家继续学习有关Linux的内容。今天第一篇文章博主首先带领大家了解一下…

【产品经理】高阶产品如何看待问题?(方法论+案例+实操清单)

在职场中,我们常常被教导要多角度、从不同的视角看待问题。作为一名高阶产品,到底会用什么视角看待问题呢? 如果你仅仅凭借一个标题,选择阅读这篇文章,大概率你对俞军老师的12条方法论(包括用户价值公式&am…

rabbitmq

一,什么是消息中间件 MQ全称为Message Queue,本质上是个队列,FIFO先入先出。是在消息的传输过程中保存消息的容器。可以用于应用程序和应用程序之间的通信方法。多用于分布式系统之间进行通信,在项目中,可将一些无需即…

Excel下拉框样式

1.打开要修改的Excel,选中要修改样式的单元格 2.在上边导航栏中选择 Data,找到 Data Validation,点击下面的 Data Validation… 3.在设置中找到 Allow 项,选择 List。Source中填写可供选择的值,以逗号(…

Tcp是怎样进行可靠准确的传输数据包的?

概述 很多时候,我们都在说Tcp协议,Tcp协议解决了什么问题,在实际工作中有什么具体的意义,想到了这些我想你的技术会更有所提升,Tcp协议是程序员编程中的最重要的一块基石,Tcp是怎样进行可靠准确的传输数据…

【Linux】【docker】安装sonarQube免费社区版9.9

文章目录 ⛺sonarQube 镜像容器⛺Linux 安装镜像🍁出现 Permission denied的异常🍁安装sonarQube 中文包🍁重启服务 ⛺代码上传到sonarQube扫描🍁java语言配置🍁配置 JS TS Php Go Python⛏️出现异常sonar-scanner.ba…

vue2.29-Vue3跟vue2的区别

1、vue3介绍 更新(和重写)Vue的主要版本时,主要考虑两点因素:首先是新的JavaScript语言特性在主流浏览器中的受支持水平;其次是当前代码库中随时间推移而逐渐暴露出来的一些设计和架构问题。 相较于vue2,vu…

带你了解—使用Ubuntu系统,公网环境下SSH远程树莓派

公网环境下Ubuntu系统SSH远程树莓派 文章目录 公网环境下Ubuntu系统SSH远程树莓派前言 1. 安装cpolar客户端2. 安装完成后输入指令3. ubuntu系统输入命令 前言 树莓派作为低功耗、小型化的硬件设备,其功能和运算能力并未过度缩水,在不少场景中&#xff…

vue2 todoapp案例(静态)

1.创建三个子组件(TodoHeader、TodoMain、TodoFooter)和两个(index.css、base.css)样式&#xff1b; TodoHeader页面 <template><header class"header"><h1>todos</h1><input id"toggle-all" class"toggle-all" typ…

Java中运算符要注意的一些点

目录 1. 算术运算符 1. 1 基本四则运算符&#xff1a;加减乘除模( - * / %) 1.2. 增量运算符 - * % 2. 关系运算符 3. 逻辑运算符 3.1. 逻辑与 && 3.2. 逻辑 || 3.3. 逻辑非 ! 3.4. 短路求值 4. 位运算符 4.1. 按位与 &: 如果两个二进制位都是 …

【MySQL】下载安装以及SQL介绍

1&#xff0c;数据库相关概念 以前我们做系统&#xff0c;数据持久化的存储采用的是文件存储。存储到文件中可以达到系统关闭数据不会丢失的效果&#xff0c;当然文件存储也有它的弊端。 假设在文件中存储以下的数据&#xff1a; 姓名 年龄 性别 住址 张三 23 男 北京…

阿里云“通义千问”开源,可免费商用

我是卢松松&#xff0c;点点上面的头像&#xff0c;欢迎关注我哦&#xff01; 阿里云成为国内首个加入大模型开源行列的大型科技企业。就在昨天&#xff0c;阿里云公开表态&#xff0c;把自家的通义千问大模型开源。 阿里云把通用70亿参数模型&#xff0c;包括Qwen-7B和对话模…

Java实现Google cloud storage 文件上传,Google oss

storage 控制台位置 创建一个bucket 点进bucket里面&#xff0c;权限配置里&#xff0c;公开访问&#xff0c;在互联网上公开&#xff0c;需要配置角色权限 新增一个访问权限 &#xff0c;账号这里可以模糊搜索&#xff0c; 角色配置 给allUser配置俩角色就可以出现 在互联…

雪花ID的简介讲解和应用

雪花ID 一、UUID UUID&#xff08;Universally Unique Identifier&#xff0c;通用唯一识别码&#xff09;是按照开放软件基金会&#xff08;OSF&#xff09;制定的标准计算&#xff0c;用到了以太网卡地址、纳秒级时间、芯片 ID 码和许多可能的数字。 UUID 是由一组 32 位数…

【状态估计】基于UKF法、AUKF法的电力系统三相状态估计研究(Matlab代码实现)

&#x1f4a5;&#x1f4a5;&#x1f49e;&#x1f49e;欢迎来到本博客❤️❤️&#x1f4a5;&#x1f4a5; &#x1f3c6;博主优势&#xff1a;&#x1f31e;&#x1f31e;&#x1f31e;博客内容尽量做到思维缜密&#xff0c;逻辑清晰&#xff0c;为了方便读者。 ⛳️座右铭&a…

Pycharm连接服务器

前提&#xff1a;必须为pycharm专业版才能连接到服务器 以下为pycharm2023专业版 一、连接 系统环境 虚拟环境&#xff08;前提&#xff1a;已安装anaconda&#xff09; (1) anaconda环境 (2) 自己创建的虚拟环境 这里为envs下的spotr 二、查看连接情况 选择自动上传