如何学习Spark:糙快猛的大数据之旅

在这里插入图片描述

作为一名大数据开发者,我深知学习Spark的重要性。今天,我想和大家分享一下我的Spark学习心得,希望能够帮助到正在学习或准备学习Spark的朋友们。

目录

    • Spark是什么?
    • 学习Spark的"糙快猛"之道
      • 1. 不要追求完美,在实践中学习
      • 2. 利用大模型作为24小时助教
      • 3. 根据自己的节奏来
      • 4. 实战项目是最好的老师
    • 深入Spark:进阶学习策略
      • 1. 理解Spark的核心概念
      • 2. 拥抱Spark生态系统
      • 3. 实战驱动学习
      • 4. 性能调优:磨刀不误砍柴工
      • 5. 保持学习的激情
    • Spark高级应用:从入门到精通
      • 1. 机器学习与Spark MLlib
      • 2. 图计算与GraphX
      • 3. 性能调优进阶
      • 4. 实战案例:日志分析系统
      • 5. 保持学习和探索的态度
    • Spark在企业级应用中的实战经验
      • 1. 数据湖构建与管理
      • 2. 实时数据处理与分析
      • 3. 大规模机器学习
      • 4. 性能调优的艺术
      • 5. 与其他大数据技术的集成
    • 结语:持续学习,不断突破

Spark是什么?

image.png

首先,让我们简单了解一下Spark。Apache Spark是一个快速、通用的分布式计算系统,专为大规模数据处理而设计。它提供了高级API,支持Java、Scala、Python和R等多种编程语言,能够运行各种工作负载,包括批处理、流处理、机器学习和交互式查询等。
image.png

学习Spark的"糙快猛"之道

说到学习Spark,我想分享一个我的亲身经历。秘诀是什么?就是"糙快猛"!
image.png

1. 不要追求完美,在实践中学习

学习Spark时,不要一开始就追求完美。先快速上手,了解基本概念和操作,然后在实践中不断深化理解。比如,你可以先学习如何创建一个简单的SparkSession:

from pyspark.sql import SparkSessionspark = SparkSession.builder \.appName("MyFirstSparkApp") \.getOrCreate()# 读取一个CSV文件
df = spark.read.csv("path/to/your/file.csv", header=True, inferSchema=True)# 显示数据的前几行
df.show()# 关闭SparkSession
spark.stop()

这个简单的例子让你快速体验了Spark的基本操作。记住,不完美没关系,重要的是你迈出了第一步!

2. 利用大模型作为24小时助教

image.png

现在我们有了大模型作为24小时助教,学习效率可以大大提高。遇到问题时,可以随时向大模型提问,获取解答和建议。但要注意,大模型虽然能帮上不少忙,但还远没到能完全代劳的地步。建立自己的审美和判断力仍然很重要。

3. 根据自己的节奏来

每个人的学习节奏不同,不要盲目跟风。有人可能一周就能掌握Spark的基础,有人可能需要一个月。找到适合自己的节奏,稳步前进才是王道。
image.png

4. 实战项目是最好的老师

理论学习固然重要,但实战项目才是真正提升技能的关键。试着用Spark解决一些实际问题,比如分析一个大型数据集:
image.png

# 假设我们有一个大型的销售数据集
sales_df = spark.read.parquet("path/to/sales_data.parquet")# 按地区和产品类别统计销售额
result = sales_df.groupBy("region", "product_category") \.agg({"sales_amount": "sum"}) \"sales_amount": "sum"}) \.orderBy("region", "sum(sales_amount).desc")# 显示结果
result.show()

通过这样的实战项目,你不仅能学习Spark的API使用,还能了解如何处理大规模数据集和优化查询性能。

深入Spark:进阶学习策略

image.png

在掌握了Spark的基础知识后,让我们来谈谈如何更深入地学习Spark,真正成为一名Spark专家。

1. 理解Spark的核心概念

要真正掌握Spark,你需要深入理解一些核心概念,比如RDD(弹性分布式数据集)、DataFrame、Dataset等。这些是Spark的基石,也是你能够高效使用Spark的关键。
image.png

举个例子,让我们看看如何使用RDD进行单词计数:

# 创建一个包含文本行的RDD
lines = spark.sparkContext.textFile("path/to/your/text/file.txt")# 将每行拆分成单词,然后进行计数
word_counts = lines.flatMap(lambda line: line.split(" ")) \.map(lambda word: (word, 1)) \.reduceByKey(lambda a, b: a + b)# 显示结果
for word, count in word_counts.collect():print(f"{word}: {count}")

这个例子展示了Spark的函数式编程模型,以及如何使用转换(transformation)和动作(action)操作来处理数据。

2. 拥抱Spark生态系统

Spark不仅仅是一个计算引擎,它还有一个丰富的生态系统。Spark SQL、Spark Streaming、MLlib (机器学习库)和GraphX (图计算库)都是Spark生态系统的重要组成部分。不要被这些吓到,记住我们的"糙快猛"原则,逐个攻克!

image.png

比如,你可以尝试使用Spark SQL来处理结构化数据:

# 从JSON文件创建一个DataFrame
df = spark.read.json("path/to/your/data.json")# 注册为临时视图
df.createOrReplaceTempView("my_data")# 使用SQL查询
result = spark.sql("""SELECT category, AVG(price) as avg_priceFROM my_dataGROUP BY categoryHAVING AVG(price) > 100
""")result.show()

3. 实战驱动学习

记住,光看不练是不行的。找一些开源的大数据项目,看看别人是如何使用Spark的。更好的是,自己动手做一个项目。比如,你可以尝试使用Spark Streaming处理实时数据:
image.png

from pyspark.sql.functions import *# 创建一个流式DataFrame,监听9999端口的数据
lines = spark.readStream.format("socket") \.option("host", "localhost").option("port", 9999).load()# 简单的单词计数
word_counts = lines.select(explode(split(lines.value, " ")).alias("word")) \.groupBy("word").count()# 启动流式查询
query = word_counts.writeStream.outputMode("complete") \.format("console").start()query.awaitTermination()

这个例子展示了如何使用Spark Streaming处理实时数据流。你可以用nc -lk 9999命令在终端启动一个数据源,然后输入文本,看看Spark是如何实时处理数据的。

4. 性能调优:磨刀不误砍柴工

image.png

当你的Spark应用运行在大规模数据集上时,性能调优就变得至关重要。这包括数据倾斜处理、内存管理、任务调度等方面。虽然这些听起来很高深,但别忘了我们的"糙快猛"精神 —— 先上手,在实践中慢慢优化。

一个简单的优化例子:

# 使用缓存加速重复计算
popular_products = df.groupBy("product_id").count().filter("count > 1000")
popular_products.cache()# 使用广播变量优化join操作
from pyspark.sql.functions import broadcastsmall_df = spark.table("small_but_important_table")
result = big_df.join(broadcast(small_df), "join_key")

5. 保持学习的激情

image.png

大数据技术发展很快,Spark也在不断更新。保持学习的激情,关注Spark的最新发展,参与社区讨论,这些都是提升自己的好方法。记住,当你遇到困难时,想想当初是如何"叉会腰"的,保持这种自信和热情!

Spark高级应用:从入门到精通

现在我们已经掌握了Spark的基础知识,是时候深入一些更高级的应用场景了。记住我们的"糙快猛"原则 —— 不要害怕尝试,在实践中学习和成长。

1. 机器学习与Spark MLlib

image.png

Spark的MLlib库提供了丰富的机器学习算法。作为一个从零开始学习算法的人,我深知掌握这些工具的重要性。让我们看一个使用MLlib进行线性回归的例子:

from pyspark.ml.regression import LinearRegression
from pyspark.ml.feature import VectorAssembler# 准备数据
data = spark.read.csv("path/to/your/data.csv", header=True, inferSchema=True)
assembler = VectorAssembler(inputCols=["feature1", "feature2", "feature3"], outputCol="features")
data = assembler.transform(data)# 划分训练集和测试集
(trainingData, testData) = data.randomSplit([0.7, 0.3])# 创建和训练模型
lr = LinearRegression(featuresCol="features", labelCol="label")
model = lr.fit(trainingData)# 在测试集上评估模型
predictions = model.transform(testData)
predictions.select("prediction", "label", "features").show(5)# 打印模型系数和截距
print("Coefficients: " + str(model.coefficients))
print("Intercept: " + str(model.intercept))

这个例子展示了如何使用Spark MLlib进行简单的线性回归。记住,"糙快猛"不意味着不求甚解。在实践的过程中,深入理解这些算法的原理和适用场景同样重要。

2. 图计算与GraphX

对于复杂的关系数据,Spark的GraphX模块提供了强大的图计算能力。例如,我们可以用它来分析社交网络:
image.png

from pyspark.sql import SparkSession
from graphframes import GraphFrame# 创建顶点DataFrame
v = spark.createDataFrame([("a", "Alice", 34),("b", "Bob", 36),("c", "Charlie", 30),
], ["id", "name", "age"])# 创建边DataFrame
e = spark.createDataFrame([("a", "b", "friend"),("b", "c", "follow"),("c", "b", "follow"),
], ["src", "dst", "relationship"])# 创建图
g = GraphFrame(v, e)# 查找入度最高的用户
result = g.inDegrees.orderBy("inDegree", ascending=False)
result.show()# 运行PageRank算法
ranks = g.pageRank(resetProbability=0.15, tol=0.01)
ranks.vertices.select("id", "pagerank").show()

这个例子展示了如何使用GraphX构建一个简单的社交网络图,并进行基本的图分析。

3. 性能调优进阶

image.png

在实际工作中,你可能会遇到各种性能问题。以下是一些进阶的性能调优技巧:

  1. 数据倾斜处理:
from pyspark.sql.functions import spark_partition_id# 识别数据倾斜
df.groupBy(spark_partition_id()).count().show()# 处理数据倾斜 - 加盐法
from pyspark.sql.functions import rand
df_skewed = df.withColumn("salt", (rand()*10).cast("int"))
df_normal = df_normal.withColumn("salt", lit(-1))result = df_skewed.join(broadcast(df_normal), (df_skewed.key == df_normal.key) & ((df_skewed.salt == df_normal.salt) | (df_normal.salt == -1)))
  1. 内存管理:
# 设置Spark配置以优化内存使用
spark.conf.set("spark.memory.fraction", 0.8)
spark.conf.set("spark.memory.storageFraction", 0.3)# 使用堆外内存
spark.conf.set("spark.memory.offHeap.enabled", "true")
spark.conf.set("spark.memory.offHeap.size", "2g")

4. 实战案例:日志分析系统

image.png

让我们把学到的知识综合起来,实现一个简单的日志分析系统:

from pyspark.sql import SparkSession
from pyspark.sql.functions import *
from pyspark.sql.types import *# 创建SparkSession
spark = SparkSession.builder.appName("LogAnalysis").getOrCreate()# 定义日志格式
log_format = StructType([StructField("ip", StringType(), True),StructField("timestamp", TimestampType(), True),StructField("method", StringType(), True),StructField("url", StringType(), True),StructField("status", IntegerType(), True),StructField("size", IntegerType(), True)
])# 读取日志文件
logs = spark.readStream.format("csv") \.schema(log_format) \.option("sep", " ") \.load("/path/to/log/directory")# 分析日志
analyzed_logs = logs.withWatermark("timestamp", "1 hour") \.groupBy(window("timestamp", "5 minutes"), "status") \.agg(count("*").alias("count"))# 输出结果
query = analyzed_logs.writeStream \.outputMode("complete") \.format("console") \.start()query.awaitTermination()

这个例子展示了如何使用Spark Streaming处理实时日志数据,按时间窗口和状态码进行聚合分析。

5. 保持学习和探索的态度

image.png

大数据领域发展迅速,新技术和新工具不断涌现。保持开放和学习的心态至关重要。比如,你可以关注Apache Spark的最新版本更新,尝试新的功能;或者探索与Spark集成的其他工具,如Apache Kafka用于实时数据接入,或者Delta Lake用于构建可靠的数据湖。

记住,当初我们是如何"叉会腰"的。在大数据的世界里,永远有新的挑战等着我们去征服。保持那份初心和热情,你会发现自己总能在这个领域找到新的乐趣和成就感。

Spark在企业级应用中的实战经验

作为一个从零开始学习大数据的开发者,我深知将理论知识应用到实际企业环境中的挑战。让我们探讨一下Spark在企业级应用中的一些常见场景和最佳实践。

1. 数据湖构建与管理

image.png

在现代企业中,数据湖已成为管理和分析海量数据的重要工具。Spark在数据湖的构建和管理中扮演着关键角色。

from delta import *
from pyspark.sql.functions import *# 配置Spark以使用Delta Lake
spark = SparkSession.builder \.appName("DeltaLakeExample") \.config("spark.sql.extensions", "io.delta.sql.DeltaSparkSessionExtension") \.config("spark.sql.catalog.spark_catalog", "org.apache.spark.sql.delta.catalog.DeltaCatalog") \.getOrCreate()# 读取数据并写入Delta表
df = spark.read.format("csv").option("header", "true").load("/path/to/data.csv")
df.write.format("delta").mode("overwrite").save("/path/to/delta/table")# 读取Delta表并进行更新
deltaTable = DeltaTable.forPath(spark, "/path/to/delta/table")
deltaTable.update(condition = expr("id = 100"),set = { "name": lit("New Name") }
)# 时间旅行查询
df_at_version = spark.read.format("delta").option("versionAsOf", 0).load("/path/to/delta/table")

这个例子展示了如何使用Spark和Delta Lake构建一个简单的数据湖,支持ACID事务和时间旅行查询。记住,"糙快猛"并不意味着忽视数据的可靠性和一致性。

2. 实时数据处理与分析

在我转行学习大数据的过程中,实时数据处理是一个让我感到既兴奋又有挑战的领域。Spark Streaming结合Kafka可以构建强大的实时数据处理管道:
image.png

from pyspark.sql import SparkSession
from pyspark.sql.functions import from_json, col
from pyspark.sql.types import StructType, StringType, IntegerType# 创建SparkSession
spark = SparkSession.builder \.appName("KafkaSparkStreaming") \.config("spark.jars.packages", "org.apache.spark:spark-sql-kafka-0-10_2.12:3.1.2") \.getOrCreate()# 定义schema
schema = StructType() \.add("id", StringType()) \.add("name", StringType()) \.add("age", IntegerType())# 从Kafka读取数据
df = spark \.readStream \.format("kafka") \.option("kafka.bootstrap.servers", "localhost:9092") \.option("subscribe", "test-topic") \.load()# 解析JSON数据
parsed_df = df.select(from_json(col("value").cast("string"), schema).alias("data")).select("data.*")# 处理数据
result = parsed_df.groupBy("age").count()# 输出结果到控制台
query = result \.writeStream \.outputMode("complete") \.format("console") \.start()query.awaitTermination()

这个例子展示了如何使用Spark Streaming从Kafka读取数据,并进行实时处理。在实际应用中,你可能需要处理更复杂的业务逻辑,但基本框架是类似的。

3. 大规模机器学习

image.png

当我开始学习机器学习时,我意识到在大规模数据集上训练模型是一个巨大的挑战。Spark MLlib提供了分布式机器学习的能力,让我们能够处理海量数据:

from pyspark.ml import Pipeline
from pyspark.ml.classification import RandomForestClassifier
from pyspark.ml.feature import StringIndexer, VectorAssembler
from pyspark.ml.evaluation import MulticlassClassificationEvaluator# 假设我们已经有了一个大规模数据集
data = spark.read.parquet("/path/to/large/dataset")# 准备特征
categorical_cols = ["category1", "category2"]
numeric_cols = ["feature1", "feature2", "feature3"]stages = []
for categoricalCol in categorical_cols:stringIndexer = StringIndexer(inputCol = categoricalCol, outputCol = categoricalCol + "Index")stages += [stringIndexer]assemblerInputs = [c + "Index" for c in categorical_cols] + numeric_cols
assembler = VectorAssembler(inputCols=assemblerInputs, outputCol="features")
stages += [assembler]# 创建和训练随机森林模型
rf = RandomForestClassifier(labelCol="label", featuresCol="features", numTrees=100)
stages += [rf]pipeline = Pipeline(stages = stages)# 划分训练集和测试集
(trainingData, testData) = data.randomSplit([0.7, 0.3])# 训练模型
model = pipeline.fit(trainingData)# 在测试集上评估模型
predictions = model.transform(testData)
evaluator = MulticlassClassificationEvaluator(labelCol="label", predictionCol="prediction", metricName="accuracy")
accuracy = evaluator.evaluate(predictions)
print("Test Accuracy = %g" % accuracy)

这个例子展示了如何使用Spark MLlib构建一个完整的机器学习流水线,包括特征工程、模型训练和评估。记住,"糙快猛"的精神在这里同样适用:先搭建一个基本的模型,然后逐步优化和改进。

4. 性能调优的艺术

image.png

在我的学习过程中,我发现性能调优是一门需要不断实践和积累经验的艺术。这里有一些高级的调优技巧:

image.png

  1. 分区调优:
# 重分区以提高并行度
df = df.repartition(spark.sparkContext.defaultParallelism * 2)# 按照常用的过滤或join键重分区
df = df.repartition(col("join_key"))
  1. 广播变量与累加器:

image.png

from pyspark.sql.functions import broadcast# 使用广播join
small_df = spark.table("small_table")
result = large_df.join(broadcast(small_df), "join_key")# 使用累加器
accum = spark.sparkContext.accumulator(0)
def count_nulls(x):if x is None:accum.add(1)df.foreach(lambda row: count_nulls(row.field))
print("Number of null values: {}".format(accum.value))
  1. 缓存策略:
    image.png
from pyspark.storage import StorageLevel# 使用不同的存储级别
df.persist(StorageLevel.MEMORY_AND_DISK)

5. 与其他大数据技术的集成

在实际工作中,Spark常常需要与其他大数据技术协同工作。例如,与Hive集成进行大规模数据仓库查询:
image.png

from pyspark.sql import SparkSession# 创建支持Hive的SparkSession
spark = SparkSession.builder \.appName("SparkHiveIntegration") \.config("spark.sql.warehouse.dir", "/path/to/hive/warehouse") \.enableHiveSupport() \.getOrCreate()# 执行Hive查询
result = spark.sql("SELECT * FROM my_hive_table WHERE date > '2023-01-01'")
result.show()

或者与HBase集成进行快速的键值存储:

# 注意:这需要相应的HBase连接器
df = spark.read \.format("org.apache.hadoop.hbase.spark") \.option("hbase.table", "my_table") \.option("hbase.columns.mapping", "key_field STRING :key, field1 STRING c1:f1, field2 INT c1:f2") \.load()

结语:持续学习,不断突破

image.png

回顾我从零开始学习大数据的journey,我深深体会到"糙快猛"学习方法的重要性。

在Spark这样复杂而强大的技术面前,我们不应该被完美主义所束缚。相反,我们应该勇于尝试,在实践中学习,在错误中成长。

记住,当我们面对看似不可能的挑战时,要保持那份"可把我牛逼坏了,让我叉会腰儿"的自信和决心。每一次你解决了一个棘手的数据问题,优化了一个复杂的查询,或者部署了一个高性能的Spark应用,你都在向着成为大数据专家的目标迈进一步。

在这个数据驱动的时代,Spark的学习之旅永无止境。新的版本,新的特性,新的最佳实践不断涌现。保持好奇心,保持学习的热情,你会发现自己总能在这个领域找到新的挑战和机遇。

让我们一起在Spark的海洋中探索,让数据的力量在我们手中绽放。记住,你已经从一个初学者成长为能够处理复杂大数据问题的开发者。继续前进,下一个里程碑已在眼前!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/379993.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

宠物空气净化器哪款品牌好?口碑好的猫用空气净化器排名

猫咪每年掉毛两次,一次掉半年的现象真让人头疼。作为一位5年资深铲屎官,特别是在掉毛季节,猫毛无处不在,对此深有体会。宠物空气净化器已成为铲屎官们的救星,能迅速清理家中的宠物毛发和异味,是养猫家庭的必…

四个节点即可实现的ComfyUI批量抠图工作流

原文链接:ComfyUI面部修复完全指南 (chinaz.com) 下图就是批量抠图的工作流 虽然工作流很简单,但是我们前提还是需要安装好我们的节点 首先安装我们的抠图节点 安装 BiRefNet 所需依赖:timm,如已安装无需运行 requirements.txt…

【最新发布】生成式人工智能全球研究报告

7月10日,美国著名的大数据分析平台和全球最大的数据分析公司之一SAS在其官网发布了一份关于生成式人工智能(AIGC)深度应用的调查报告。 本次的报告主要对以美国、中国、英国、法国、巴西、日本等为主的北美、拉美、欧洲、亚太地区主要国家的1…

云计算实训09——rsync远程同步、自动化推取文件、对rsyncd服务进行加密操作、远程监控脚本

一、rsync远程同步 1.rsync基本概述 (1)sync同步 (2)async异步 (3)rsync远程同步 2.rsync的特点 可以镜像保存整个目录树和文件系统 可以保留原有权限,owner,group,时间,软硬链…

vue3 + antd vue 纯前端 基于xlsx 实现导入excel 转 json,将json数据转换XLSX并下载(下载模版)

一、导入 0、关键代码 // 安装插件 npm i xlsx/yarn add xlsx // 导入xlsx import * as XLSX from xlsx; 点击提交的时候才整理数据。上传的时候文件保存在 state.form.file[0] 中的 // 定义字段映射关系 const fieldMap {sheet2json: {技能名称: skill_name,技能等级: …

AI 绘画|Midjourney设计Logo提示词

你是否已经看过许多别人分享的 MJ 咒语,却仍无法按照自己的想法画图?通过学习 MJ 的提示词逻辑后,你将能够更好地理解并创作自己的“咒语”。本文将详细拆解使用 MJ 设计 Logo 的逻辑,让你在阅读后即可轻松上手,制作出…

机器学习-18-统计学与机器学习中回归的区别以及统计学基础知识

参考通透!一万字的统计学知识大梳理 参考3万字长文!手把手教你学会用Python实现统计学 参考统计学的回归和机器学习中的回归有什么差别? 1 研究对象 一维:就是当前摆在我们面前的“一组”,“一批数据。这里我们会用到统计学的知识去研究这类对象。 二维:就是研究某个“事…

【性能优化】在大批量数据下使用 HTML+CSS实现走马灯,防止页面卡顿

切换效果 页面结构变化 1.需求背景 项目首页存有一个小的轮播模块,保密原因大概只能这么展示,左侧图片右侧文字,后端一次性返回几百条数据(开发环境下,生产环境只会更多).无法使用分页解决,前端需要懒加载防止页面卡顿 写个小demo演示,如下 2.解决思路 获取到数据后,取第一…

【electron6】浏览器实时播放PCM数据

pcm介绍:PCM(Puls Code Modulation)全称脉码调制录音,PCM录音就是将声音的模拟信号表示成0,1标识的数字信号,未经任何编码和压缩处理,所以可以认为PCM是未经压缩的音频原始格式。PCM格式文件中不包含头部信…

【Langchain大语言模型开发教程】模型、提示和解析

🔗 LangChain for LLM Application Development - DeepLearning.AI 学习目标 1、使用Langchain实例化一个LLM的接口 2、 使用Langchain的模板功能,将需要改动的部分抽象成变量,在具体的情况下替换成需要的内容,来达到模板复用效…

AIoTedge 智能边缘物联网平台

AIoTedge智能边缘物联网平台是一个创新的边云协同架构,它为智能设备和系统提供了强大的数据处理和智能决策能力。这个平台的核心优势在于其边云协同架构设计,它优化了数据处理速度,提高了系统的可靠性和灵活性,适用于多种场景&…

NVIDIA 完全过渡到开源 GPU 内核模块

目录 支持的 GPU安装程序更改将包管理器与 CUDA 元包配合使用使用 runfile使用安装帮助程序脚本包管理器详细信息apt:基于 Ubuntu 和 Debian 的发行版dnf:Red Hat Enterprise Linux、Fedora、Kylin、Amazon Linux 或 Rocky Linuxzypper:SUSE …

项目实战--C#实现图书馆信息管理系统

本项目是要开发一个图书馆管理系统,通过这个系统处理常见的图书馆业务。这个系统主要功能是:(1)有客户端(借阅者使用)和管理端(图书馆管理员和系统管理员使用)。(2&#…

pdf太大了怎么变小 pdf太大了如何变小一点

在数字化时代,pdf文件已成为工作与学习的重要工具。然而,有时我们可能会遇到pdf文件过大的问题,这会导致传输困难或者存储不便。别担心,下面我将为你介绍一些实用的技巧和工具,帮助你轻松减小pdf文件的大小。 方法一、…

通过libx246 libfaac转换推送RTMP音视频直播流

一、RTMP简介及rtmplib库: RTMP协议是Real Time Message Protocol(实时信息传输协议)的缩写,它是由Adobe公司提出的一种应用层的协议,用来解决多媒体数据传输流的多路复用(Multiplexing)和分包(packetizing…

Mysql----内置函数

前言 提示:以下是本篇文章正文内容,下面案例可供参考 一、日期函数 日期:年月日 时间:时分秒 查询:当前时间,只显示当前日期 注意:如果类型为date或者datetime。表中数据类型为date,你插入时…

昇思MindSpore 应用学习-FCN图像语义分割-CSDN

日期 心得 昇思MindSpore 应用学习-FCN图像语义分割 (AI 代码解析) 全卷积网络(Fully Convolutional Networks,FCN)是UC Berkeley的Jonathan Long等人于2015年在Fully Convolutional Networks for Semantic Segmentation[1]一文中提出的用…

MATLAB R2023b下载安装教程汉化中文版设置

MATLAB R2023b下载安装教程汉化中文版设置 Matlab 是一款功能强大的商业数学软件 Matlab(Matrix Labortory)即矩阵实验室,它在数值计算、数据分析、算法开发、建模与仿真等众多领域都发挥着重要作用。 Matlab 具有以下显著特点和优势&…

移动端如何离线使用GPT

在移动端离线使用GPT,只需要一个app:H2O AI Personal GPT 是H2OAI上架的一款app,可离线使用,注重数据隐私,所有数据都只存储在本地。对H2OAI感兴趣的伙伴,可移步:https://h2o.ai 该app支持的模…

大语言模型-文本向量模型评估基准 MTEB

MTEB(Massive Text Embedding Benchmark) 涵盖112种语言的58个数据集,包含如下8种任务。 1、双语文本挖掘(Bitext Mining) 任务目标: 在双语语料库中识别语义等价的句子对。 任务描述: 输入…