机器学习全攻略:概念、流程、分类与行业应用案例集锦

目录

1.引言

2.从零开始认识机器学习:基本概念与重要术语

3.五步走:掌握机器学习项目执行的完整流程

3.1.问题定义与数据收集

3.2.数据预处理与特征工程

3.3.模型选择与训练

3.4.模型评估与优化

3.5.模型部署与监控

4.深入了解各类机器学习方法及其差异

4.1.监督学习

4.2.无监督学习

4.3.半监督学习

4.4.强化学习

4.5.深度学习

 5.行业应用案例剖析:医疗、金融、零售、教育等领域的成功实践

5.1.医疗健康

5.2.金融风控

5.3.零售与电子商务

5.4.交通运输

5.5.能源与环境

6.总结


1.引言

        随着大数据和计算力的飞速增长,机器学习逐渐成为了解决复杂问题的关键工具。它能够从海量数据中自动提取规律,并据此做出预测或决策。无论是医疗诊断、金融风险评估,还是零售推荐、教育个性化,机器学习都展现出了巨大的应用潜力。本文将带您从零开始认识机器学习,掌握其项目执行流程,深入了解各类方法,并通过代码示例和行业应用案例,帮助您更好地应用机器学习解决实际问题。

2.从零开始认识机器学习:基本概念与重要术语

        机器学习(Machine Learning, ML)是指通过计算机算法让机器从数据中学习并自动改进自身性能的过程。在这个过程中,数据、算法和模型是三个核心概念。数据是机器学习的原材料,算法是加工工具,而模型则是最终的产物。通过训练数据,算法可以构建出一个能够预测或分类的模型。

        在机器学习中,有几个重要的术语需要了解:

  1. 数据集:机器学习的基础是数据。数据集是用于训练、验证和测试模型的一组观测值,通常包含多个特征(输入变量)和一个目标变量(输出变量)。

  2. 特征工程:指通过转换原始数据来创建有助于模型学习的特征的过程,包括数据清洗、标准化、编码、降维等。

  3. 模型:数学函数或算法,它根据给定的输入数据学习并产生预测或决策。常见的模型包括线性回归、决策树、支持向量机、神经网络等。

  4. 训练:通过调整模型参数以最小化预测误差的过程,通常使用有监督或无监督的学习算法在标记的数据集上进行。

  5. 目标函数与损失函数:目标函数(Objective Function)是机器学习模型试图优化的函数,通常与模型的学习任务紧密相关。损失函数(Loss Function)或代价函数(Cost Function)是目标函数的具体量化形式,用于衡量模型预测结果与真实结果之间的差异,是模型训练过程中的核心优化指标。

  6. 过拟合与欠拟合:过拟合指模型在训练数据上表现良好但在新数据上表现差,因为模型过于复杂而学到了噪声。欠拟合则是模型过于简单,未能捕捉数据的真实结构,导致训练和测试性能均不佳。

  7. 交叉验证:一种评估模型泛化能力的技术,通过将数据集划分为多个子集(折叠),轮流用一部分数据训练模型,另一部分数据验证模型性能。

  8. 超参数:模型训练前设置的参数,如学习率、正则化强度、树的数量等,它们控制模型的学习过程,而非直接从数据中学习得到。

  9. 正则化(Regularization)是一种防止过拟合的技术,通过在损失函数中添加惩罚项,限制模型复杂度,鼓励模型参数取较小的值,从而提高模型的泛化能力。常见的正则化方法包括L1、L2正则化等。

  10. 梯度下降(Gradient Descent)是一种优化算法,通过迭代计算损失函数的梯度(即函数值增大的方向),并在每次迭代中沿着梯度反方向调整模型参数,以逐步减小损失,最终达到局部或全局最小值。

  11. 深度学习(Deep Learning)是机器学习的一个子领域,主要依赖于人工神经网络(Artificial Neural Networks, ANNs)的多层次结构进行学习。深度学习模型能够在复杂的数据中自动提取多级抽象特征,特别擅长处理图像、语音、文本等非结构化数据,是近年来推动人工智能取得诸多突破的关键技术。

        从零开始认识机器学习,需要理解其基本原理、学习类型、学习过程,以及关键术语如目标函数、损失函数、过拟合与欠拟合、正则化、梯度下降和深度学习等。掌握这些基础知识,不仅有助于构建系统的理论框架,更能为后续深入学习与实践应用打下坚实基础。随着数据驱动时代的到来,机器学习已成为推动各行各业智能化升级的重要引擎,其重要性与日俱增,值得广大从业者与学习者持续关注与探索。

3.五步走:掌握机器学习项目执行的完整流程

        机器学习项目的成功实施并非一蹴而就,而是遵循一套严谨、系统的流程。无论是初涉此领域的新人还是经验丰富的专家,遵循以下五个关键步骤,都能确保项目高效、有序地进行,最终实现预期目标。本节将详细阐述这五步流程,助您全面掌握机器学习项目的执行路径。

3.1.问题定义与数据收集

        问题定义是机器学习项目的起点。明确要解决的问题类型(如分类、回归、聚类等)、目标指标以及预期结果,确保项目目标与业务需求紧密贴合。同时,对问题进行可行性分析,考虑数据可用性、计算资源、时间限制等因素,为后续工作设定合理预期。

        数据收集是构建有效模型的基础。根据问题定义,确定所需的数据类型、来源和范围,制定数据收集计划。数据可以来自内部数据库、公开数据集、第三方API、网络爬虫等多种途径。确保数据质量和完整性,避免噪声、缺失值、异常值等问题影响模型性能。

3.2.数据预处理与特征工程

        数据预处理是对原始数据进行清洗、转换和标准化的过程,旨在消除数据中的噪声,使之更适合模型训练。主要包括:

  • 数据清洗:处理缺失值、异常值,修正数据错误。
  • 数据转换:对数值数据进行标准化、归一化等处理,使不同特征具有可比性。
  • 数据编码:将非数值特征(如类别、文本、日期等)转化为模型可接受的数值形式。

        特征工程是提炼有价值信息、构建高质量特征的过程,直接影响模型性能。主要包括:

  • 特征选择:剔除无关或冗余特征,保留对目标变量有影响力的特征。
  • 特征构造:通过计算、组合现有特征生成新的特征,揭示数据深层关系。
  • 特征降维:减少特征数量,简化模型结构,提高训练效率,如主成分分析(PCA)、t-SNE等。

        关于数据的预处理和降维技术,在下面这篇文章中有更加详细的操作案例和代码示例:

无监督学习之旅:聚类与降维技术-CSDN博客文章浏览阅读1k次,点赞33次,收藏27次。总结而言,K-means、DBSCAN等聚类算法为无监督学习提供了划分数据结构的方法,而PCA和t-SNE等降维技术则助力我们以更低维度可视化和理解高维数据的聚类特性。通过结合这些技术,我们可以有效地探索无标签数据集中的隐藏信息,为后续的数据分析、模式识别乃至决策制定提供有力支持。更多Python在人工智能中的使用方法,欢迎关注《Python人工智能实战》栏目!这只是一个简单的示例,实际数据分析过程中可能还需要进行更深入的数据清洗、特征选择、模型调优等步骤。https://deeplearn.blog.csdn.net/article/details/136976300

3.3.模型选择与训练

        根据问题类型、数据特点和业务需求,选择合适的机器学习算法或模型结构。常见的模型包括线性回归、逻辑回归、决策树、随机森林、支持向量机、神经网络等。在选择模型时,考虑模型复杂度、解释性、训练时间等因素。

        模型训练是指使用选定的算法和数据集训练模型,通过优化算法(如梯度下降)调整模型参数,使模型尽可能拟合训练数据。训练过程中,通常会划分训练集、验证集和测试集,以评估模型的泛化能力。

3.4.模型评估与优化

        模型评估是衡量模型性能的关键环节。选择合适的评估指标(如准确率、召回率、F1分数、AUC-ROC曲线等),在独立的验证集或测试集上评估模型。通过比较不同模型或同一模型在不同参数下的性能,选择最优模型。

        模型优化是对模型进行迭代改进的过程。通过调整模型参数、尝试不同的特征组合、引入正则化、使用集成学习等方法,优化模型性能。同时,注意防止过拟合,确保模型在新数据上的泛化能力。

        关于模型评估与优化的更详细介绍,请下面这篇文章,里面有更加详细的操作案例:

模型调优的艺术:超参数调整与集成方法-CSDN博客文章浏览阅读607次,点赞4次,收藏12次。模型调优是一门结合科学方法与艺术直觉的实践,其中超参数搜索策略与模型集成技术是两大核心工具。掌握并灵活运用这些技术,不仅能提升模型在特定任务上的表现,还能深化对复杂数据现象的洞察与建模能力。https://deeplearn.blog.csdn.net/article/details/137154407

3.5.模型部署与监控

        模型部署是将训练好的模型集成到实际应用系统中,供业务方使用。部署方式取决于应用场景,可以是API服务、嵌入式软件、离线批处理等。确保部署过程中的模型版本管理、数据流处理、异常处理等环节完善。

        关于模型部署的实战案例和更详细介绍请看下面篇博文:

模型部署实战:从训练到上线-CSDN博客文章浏览阅读1k次,点赞38次,收藏16次。在机器学习的全周期中,模型部署是至关重要的一环。经过长时间的训练、验证和优化,当模型准备就绪时,我们需要确保它能高效地服务于线上业务。本文将介绍从模型训练到上线的完整流程,包括RESTful API设计、使用Flask/Django进行Web应用开发,以及使用TensorFlow Serving部署模型。此外,还会涉及性能监控与服务维护的要点。更多Python在人工智能中的使用方法,欢迎关注《Python人工智能实战》栏目!https://deeplearn.blog.csdn.net/article/details/137182253        模型监控是持续跟踪模型在实际应用中的表现,及时发现并解决性能下降、数据漂移等问题。通过设置监控指标、定期评估模型性能、建立反馈机制,保证模型持续提供准确、可靠的服务。

        遵循“问题定义与数据收集→数据预处理与特征工程→模型选择与训练→模型评估与优化→模型部署与监控”这五步流程,可以系统、有效地执行机器学习项目,从问题定义到模型落地,步步为营,确保项目顺利完成并产生实际价值。在实践中,还需根据具体项目需求灵活调整,持续迭代优化,以适应不断变化的业务环境和技术趋势。

4.深入了解各类机器学习方法及其差异

        本节将带您深入了解各类机器学习方法及其差异,帮助您更好地选择和应用适合的算法。机器学习方法主要分为以下几个阵营:

4.1.监督学习

        1. 分类 分类是监督学习中的一种基本任务,旨在预测离散的类别标签。典型算法包括逻辑回归、支持向量机(SVM)、朴素贝叶斯、K近邻(KNN)、决策树、随机森林、梯度提升树(GBDT)等。这些方法在诸如垃圾邮件识别、疾病诊断、图像物体识别等领域大显身手。

        2. 回归 回归用于预测连续数值型变量。线性回归、多项式回归、岭回归、套索回归、ElasticNet、决策树回归、随机森林回归等算法适用于房价预测、销售量估计、股票价格预测等场景。

        关于监督学习的更详细的应用案例,在这篇文章中有更详细的介绍:

监督学习探秘:从线性回归到决策树-CSDN博客文章浏览阅读944次,点赞13次,收藏30次。综上,线性回归、逻辑回归和决策树/随机森林作为监督学习中的重要模型,分别适用于连续型预测、二分类任务和多元分类/回归任务。理解它们的原理、特点和应用,有助于在实际问题中选择合适的模型进行预测和分析。https://deeplearn.blog.csdn.net/article/details/136975335

4.2.无监督学习

        1. 聚类 聚类旨在将相似数据点分组到同一簇中,无需预先知道类别标签。常用的聚类算法有K-means、层次聚类、DBSCAN、谱聚类等,常用于市场细分、社交网络分析、客户分群等。

        2. 关联分析 关联分析(如Apriori、FP-Growth)寻找数据集中项集之间的频繁模式和关联规则,如“购物篮分析”中的“啤酒与尿布”现象,广泛应用于商品推荐、行为分析等领域。

        3. 降维 降维技术如主成分分析(PCA)、线性判别分析(LDA)、t-SNE等,通过压缩高维数据至较低维度,保持关键信息的同时简化数据结构,便于可视化、加速计算或作为预处理步骤。适用于高维数据的探索性分析、特征选择等。

        关于无监督学习的实际应用可以看这篇文章:

无监督学习之旅:聚类与降维技术-CSDN博客文章浏览阅读1k次,点赞33次,收藏27次。总结而言,K-means、DBSCAN等聚类算法为无监督学习提供了划分数据结构的方法,而PCA和t-SNE等降维技术则助力我们以更低维度可视化和理解高维数据的聚类特性。通过结合这些技术,我们可以有效地探索无标签数据集中的隐藏信息,为后续的数据分析、模式识别乃至决策制定提供有力支持。更多Python在人工智能中的使用方法,欢迎关注《Python人工智能实战》栏目!这只是一个简单的示例,实际数据分析过程中可能还需要进行更深入的数据清洗、特征选择、模型调优等步骤。https://deeplearn.blog.csdn.net/article/details/136976300

4.3.半监督学习

        半监督学习介于监督学习与无监督学习之间,利用少量有标签数据和大量无标签数据进行学习。代表性方法包括半监督支持向量机、图半监督学习、自训练、协同训练等,常用于标注成本高昂或难以获取大量标签数据的情形。

4.4.强化学习

        强化学习(RL)关注智能体如何通过与环境交互,学习采取行动以最大化长期奖励。Q-learning、SARSA、深度Q网络(DQN)、策略梯度方法(如REINFORCE)等是RL的核心算法,应用于游戏AI、机器人控制、资源调度等领域。

4.5.深度学习

        深度学习是机器学习的一个子领域,主要依托多层神经网络结构。它在图像识别、语音识别、自然语言处理、强化学习等方面取得了显著突破。深度学习模型如卷积神经网络(CNN)、循环神经网络(RNN)、长短期记忆网络(LSTM)、Transformer等,能够自动从原始数据中提取多层次抽象特征,处理复杂非线性关系。

        关于CNN的实际案例和操作代码可以看这篇文章:

卷积神经网络(CNN):图像识别的强大工具-CSDN博客文章浏览阅读908次,点赞11次,收藏25次。卷积神经网络是一种强大的图像识别工具,它能够自动学习图像的特征,并在各种图像识别任务中取得出色的效果。通过使用深度学习框架和大量的训练数据,我们可以构建出高效准确的卷积神经网络模型,实现对图像的分类、识别等任务。希望这篇文章能够帮助你更好地理解卷积神经网络在图像识别中的应用。如果你有任何问题或需要进一步的帮助,请随时提问。https://deeplearn.blog.csdn.net/article/details/137015665        关于RNN的实际案例和操作代码可看这篇文章:循环神经网络(RNN):处理序列数据的利器_种网络结构被设计用于处理序列数据,如时间和序列数据?-CSDN博客文章浏览阅读819次,点赞15次,收藏33次。总结而言,循环神经网络凭借其内在的时间循环特性,成为处理序列数据的理想选择。LSTM与GRU作为RNN的增强版本,通过引入门控机制有效解决了长期依赖学习问题,在文本生成与情感分析等任务中展现了强大的建模能力。实践中,根据任务需求和数据特性选择合适的RNN变体,能够实现对序列数据的高效理解和精准建模。_种网络结构被设计用于处理序列数据,如时间和序列数据?https://deeplearn.blog.csdn.net/article/details/137015787        长短期记忆网络(LSTM)的实战案例请看下文中的第3章节:

项目实战:电影评论情感分析系统-CSDN博客文章浏览阅读1.1k次,点赞17次,收藏27次。本篇文章通过实际代码演示了如何使用Python从数据获取与预处理开始,构建一个基于LSTM的电影评论情感分析系统,并对其结果进行了评估与模型优化。这一流程不仅适用于电影评论情感分析,还可扩展到其他文本分类任务,如新闻分类、产品评论分析等。通过不断迭代优化,可以进一步提升模型的性能和泛化能力。https://deeplearn.blog.csdn.net/article/details/137121653        机器学习方法的差异与选择:

  1. 数据需求:监督学习需要有标签数据进行训练,无监督学习处理未标记数据,半监督学习结合两者。强化学习需要环境反馈信号,深度学习通常要求大规模数据以充分训练模型。

  2. 任务类型:分类、回归适用于预测性任务,聚类、关联分析侧重于数据内在结构挖掘,强化学习解决序列决策问题,深度学习擅长处理高维、复杂数据及模式识别。

  3. 模型复杂度与解释性:线性模型、决策树等简单模型易于理解,适用于需要解释性的情境;深度学习模型尽管性能强大,但通常黑盒性质较强,解释难度大。

  4. 计算资源需求:深度学习模型训练往往需要大量计算资源(GPU/TPU)和较长训练时间,而传统机器学习模型相对轻量级,对硬件要求较低。

  5. 泛化能力与过拟合风险:复杂模型如深度学习网络可能有更强的表达力和泛化能力,但也更容易过拟合。正则化、集成学习、早停等技术有助于平衡模型复杂度与泛化性能。

        各类机器学习方法各有千秋,适用于不同的数据特性、任务目标和资源约束。在实际应用中,选择合适的方法通常需要综合考虑问题背景、数据特性、性能要求、解释性需求、计算资源等因素,有时可能还需要结合多种方法进行混合或级联使用,以充分发挥各自优势,达到最佳解决方案。

 5.行业应用案例剖析:医疗、金融、零售、教育等领域的成功实践

5.1.医疗健康

案例1:疾病诊断与预测

        借助机器学习算法,医疗系统能够对海量病例数据进行深度挖掘与模式识别,提高疾病诊断的准确性和效率。例如,谷歌的深度学习模型通过分析视网膜扫描图像,能够准确预测糖尿病视网膜病变等眼疾,其诊断准确率媲美专业医生。此外,基于电子病历、基因组学数据、生活习惯等多元信息的机器学习模型,可提前预测心脏病、癌症等重大疾病的发病风险,为早期干预和个性化治疗提供科学依据。

案例2:药物研发与筛选

        药物研发过程漫长且成本高昂,而机器学习能够加速新药发现与优化。通过学习化学结构、生物活性、副作用等数据,机器学习模型可以预测化合物的药效,辅助药物设计与候选分子筛选,显著缩短研发周期。例如,Insilico Medicine利用生成式对抗网络(GAN)设计出具有特定生物活性的新型分子结构,成功推进药物候选物进入临床试验。

5.2.金融风控

案例3:信贷风险评估

        金融机构利用机器学习模型对申请人信用历史、收入状况、消费行为等数据进行综合分析,实时生成精准的信用评分,有效降低坏账风险。例如,美国金融科技公司Upstart利用数千个数据点构建预测模型,为传统信用评分体系无法覆盖的年轻借款人提供定制化贷款服务,其违约率显著低于行业平均水平。

案例4:反欺诈监测

        面对日益复杂的金融欺诈手段,机器学习模型能够实时监测交易行为,识别异常模式,及时预警并拦截潜在欺诈交易。例如,Visa的深度学习反欺诈系统能实时分析每笔交易的数百个特征,准确区分正常交易与欺诈行为,有效保护用户资金安全。

5.3.零售与电子商务

案例5:个性化推荐系统

        电商平台利用协同过滤、深度学习等技术,根据用户的购买历史、浏览行为、社交信息等构建个性化推荐模型,提升商品转化率与用户满意度。如亚马逊的推荐系统,通过分析用户的购物习惯和偏好,为其提供高度相关的商品推荐,极大地推动了销售增长。

案例6:库存优化与需求预测

        零售商运用机器学习预测未来销售趋势,精准管理库存水平,避免过度库存导致的资金占用与滞销风险。同时,通过对历史销售数据、季节性因素、市场趋势等进行建模,预测未来市场需求,指导采购与定价策略。例如,沃尔玛利用机器学习模型预测特定商品在特定门店的未来销量,实现精细化库存管理。

5.4.交通运输

案例7:智能交通管理

        城市交通管理部门运用机器学习预测交通流量、识别拥堵源头、优化信号灯配时,提升道路通行效率。例如,西雅图市通过机器学习模型预测交通流量变化,动态调整信号灯配时方案,使高峰时段车速提升10%,拥堵程度下降10%。

案例8:自动驾驶

        自动驾驶汽车依托深度学习、强化学习等技术,实现环境感知、路径规划、决策控制等功能。如特斯拉的Autopilot系统,通过摄像头、雷达、超声波传感器等收集数据,经由深度神经网络处理,实现车道保持、自动变道、智能召唤等功能,引领汽车行业的智能化变革。

5.5.能源与环境

案例9:智能电网与能源管理

        电力公司利用机器学习预测电力需求、优化能源分配、检测设备故障,提升能源利用效率与供电稳定性。例如,Google的DeepMind团队与英国国家电网合作,利用机器学习预测短期电力需求,减少风能弃电,提升可再生能源利用率。

案例10:环境监测与保护

        环保部门利用卫星遥感、无人机等设备采集数据,结合机器学习识别森林砍伐、水质污染、物种分布等环境问题,支持科学决策与精准治理。例如,微软的AI for Earth项目利用机器学习模型监测全球森林覆盖变化,为森林保护政策制定提供数据支持。

        机器学习已深深渗透到医疗、金融、零售、交通、能源等众多行业,以其强大的数据处理与预测能力,推动各领域的智能化进程,创造显著的社会与经济效益。随着技术的持续进步与应用场景的不断拓展,机器学习将在未来继续发挥其变革力量,赋能各行各业实现更高层次的数字化与智能化转型。

6.总结

        本文不仅介绍了机器学习的基本概念、重要术语,详细阐述了机器学习项目执行的五步流程,对比了四大类机器学习方法的特点与应用场合,还通过具体行业案例展示了机器学习在医疗、金融、零售、教育等领域取得的成功实践。随着技术的不断发展与应用场景的拓宽,机器学习将持续赋能各行业,推动数字化转型与智能化升级。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/296628.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

LeetCode-146. LRU 缓存【设计 哈希表 链表 双向链表】

LeetCode-146. LRU 缓存【设计 哈希表 链表 双向链表】 题目描述:解题思路一:双向链表,函数 get 和 put 必须以 O(1) 的平均时间复杂度运行。一张图:知识点__slots__ 解题思路二:0解题思路三:0 题目描述&am…

使用 Flume 将 CSV 数据导入 Kafka:实现实时数据流

使用 Flume 将 CSV 数据导入 Kafka:实现实时数据流 文介绍了如何使用 Apache Flume 将 CSV 格式的数据从本地文件系统导入到 Apache Kafka 中,以实现实时数据流处理。通过 Flume 的配置和操作步骤,我们可以轻松地将数据从 CSV 文件中读取并发…

医院云HIS系统源码,二级医院、专科医院his系统源码,经扩展后能够应用于医联体/医共体

基于云计算技术的B/S架构的HIS系统,为医疗机构提供标准化的、信息化的、可共享的医疗信息管理系统,实现医患事务管理和临床诊疗管理等标准医疗管理信息系统的功能。 系统利用云计算平台的技术优势,建立统一的云HIS、云病历、云LIS&#xff0…

设计模式12--组合模式

定义 案例一 案例二 优缺点

【ESP32S3 Sense接入语音识别+MiniMax模型+TTS模块语音播报】

【ESP32S3 Sense接入语音识别MiniMax模型TTS模块语音播报】 1. 前言2. 功能模块概述2.1 语音接入2.2 大模型接入2.3 TTS模块接入 3. 先决条件3.1 环境配置3.2 所需零件3.3 硬件连接步骤 4. 核心代码4.1 源码分享4.2 代码解析 5. 上传验证5.1 对话测试5.2 报错 6. 总结 1. 前言 …

【 书生·浦语大模型实战营】学习笔记(一):全链路开源体系介绍

🎉AI学习星球推荐: GoAI的学习社区 知识星球是一个致力于提供《机器学习 | 深度学习 | CV | NLP | 大模型 | 多模态 | AIGC 》各个最新AI方向综述、论文等成体系的学习资料,配有全面而有深度的专栏内容,包括不限于 前沿论文解读、…

我的2024java实习投递历程

每天投递一个简历吧,我tm投投投投投投投 3/21 周四 招商银行 招银网络科技 杭州 java实习生 4月2号笔试 笔试经验:45分钟 30道选择题 题目回忆版: 1.8进制 1-777 多少个数各位乘积为0 2.有关系R(ABCDE)&…

【EasyExcel】多sheet、追加列

业务-EasyExcel多sheet、追加列 背景 最近接到一个导出Excel的业务,需求就是多sheet,每个sheet导出不同结构,第一个sheet里面能够根据最后一列动态的追加列,追加多少得看运营人员传了多少需求列。原本使用的 pig4cloud 架子&…

备战蓝桥杯Day36 - 动态规划 - 三角形最小路径和问题

一、什么是动态规划 通过拆分问题,定义问题状态和状态之间的关系,使得问题能够以递推的方式解决。 哪些问题可以使用动态规划? 1、具有最优子结构:问题的最优解所包含的子结构的解也是最优的 2、具有无后效性:未来…

若依框架时间比较的坑(DATE_FORMAT)

背景 - 想做生日的比较 若依自带的比较 <if test"params.beginTime ! null and params.beginTime ! "><!-- 开始时间检索 -->AND date_format(u.create_time,%y%m%d) > date_format(#{params.beginTime},%y%m%d)</if><if test"params…

Linux中的shell脚本之流程控制循环遍历

3 条件判断 4 流程控制语句 1&#xff09;if 语句 案例&#xff0c;用户输入用户名和密码&#xff0c;判断用户名是否是admin,密码是否是123,如果正确&#xff0c;则显示登录成功 首先我创建了shell文件&#xff0c;touch getpawer 其中getpawer 是我自己命的名 #!/bin/bas…

C#实现只保存2天的日志文件

文章目录 业务需求代码运行效果 欢迎讨论&#xff01; 业务需求 在生产环境中&#xff0c;控制台窗口不便展示出来。 为了在生产环境中&#xff0c;完整记录控制台应用的输出&#xff0c;选择将其输出到文件中。 但是&#xff0c;存储所有输出的话会占用很多空间&#xff0c;…

03 Python进阶:MySQL - mysql-connector

mysql-connector安装 要在 Python 中使用 MySQL 数据库&#xff0c;你需要安装 MySQL 官方提供的 MySQL Connector/Python。下面是安装 MySQL Connector/Python 的步骤&#xff1a; 首先&#xff0c;确保你已经安装了 Python&#xff0c;如果没有安装&#xff0c;可以在 Python…

AR/VR技术对制造业劳动力危机的影响

借助 AR/VR 的力量缩小现代制造业的技能差距 数字化转型仍然是企业的首要任务&#xff0c;其许多方面都需要人工干预。然而&#xff0c;推动此类举措所需的技术工人日益短缺。这就造成了我们所说的“制造业劳动力危机”。 制造业应当如何&#xff1a; 制造业用工危机正在影响…

JAVAEE之Cookie/Session

1.Cookie HTTP 协议自身是属于 "无状态" 协议. "无状态" 的含义指的是: 默认情况下 HTTP 协议的客户端和服务器之间的这次通信, 和下次通信之间没有直接的联系. 但是实际开发中, 我们很多时候是需要知道请求之间的关联关系的. 例如登陆网站成功后, 第二…

Qt使用opencv,进行视频录制,功能打开、关闭摄像头,开始、结束录制视频,暂停、继续录制,并保存视频文件

1.效果图 2 代码实现 2.1 .h文件 #ifndef VIDEORECORDWIDGET_H #define VIDEORECORDWIDGET_H#include <QWidget>#include<QFileDialog>#include <QImage> #include <QLabel> #include <QTimer> #include <opencv2/opencv.hpp>using name…

面试题:JVM 调优

一、JVM 参数设置 1. tomcat 的设置 vm 参数 修改 TOMCAT_HOME/bin/catalina.sh 文件&#xff0c;如下图 JAVA_OPTS"-Xms512m -Xmx1024m" 2. springboot 项目 jar 文件启动 通常在linux系统下直接加参数启动springboot项目 nohup java -Xms512m -Xmx1024m -jar…

智慧展览馆:基于AI智能识别技术的视频智慧监管解决方案

一、建设背景 随着科技的不断进步和社会安全需求的日益增长&#xff0c;展览馆作为展示文化、艺术和科技成果的重要场所&#xff0c;其安全监控系统的智能化升级已成为当务之急。为此&#xff0c;旭帆科技&#xff08;TSINGSEE青犀&#xff09;基于视频智能分析技术推出了展览馆…

内存和网卡压力测试

1.内存压力测试 1.1测试目的 内存压力测试的目的是评估开发板中的内存子系统性能和稳定性&#xff0c;以确保它能够满足特定的应用需求。开发板通常用于嵌入式系统、物联网设备、嵌入式智能家居等场景&#xff0c;这些场景对内存的要求通常比较高。 其内存压力测试的主要目的…

Spark 的结构化 APIs——RDD,DataFrame, Dataset, SparkSQL 使用和原理总结

文章目录 前言RDD的底层是什么?结构化 Spark主要优点和好处 DataFrame APISpark的基本数据类型Spark的结构化和复杂数据类型Schemas 和创建 DataFramesColumns 和 ExpressionsRows通用的 DataFrame 算子 The Dataset API有类型 Objects、无类型 Objects 和通用 Rows创建 Datas…