实验环境:
提前准备好findspark,pyspark,py4j等库
import findspark
from pyspark import SparkContext, SparkConffindspark.init()
#初始化spark,默认为你所设定的环境变量
conf = SparkConf().setAppName("jsytest").setMaster("local[4]")
#创建一个SparkConf对象,用于配置Spark应用程序,用setAppName来设置程序名称, #用setMaster来设置运行模式和线程数,这里为本地模式,4个线程
sc = SparkContext(conf=conf)
#创建一个SparkContext对象,它是与Spark集群通信的主要接口 # sc.stop() #关闭spark上下文
data = [(1),(5),(7),(10),(23),(20),(6),(5),(10),(7),(10)]
#创建所需的数据集
rdd = sc.parallelize(data)
#用parallelize方法将data中的数据结构并行化成RDD
rdd.sortBy(lambda x:x, ascending=True,numPartitions=1).collect()
#rdd.sortBy()用于对RDD中的元素按照指定的排序键进行排序 #rdd.sortBy(keyfunc, ascending=True, numPartitions=None) #keyfunc,是从 RDD 的每个元素中提取用于排序的键,多分区的话可以通过指定key的排序,来达到操作目的 #ascending表示排序的顺序。 True为升序,False为降序。 #numPartitions表示最终返回结果RDD的分区数。
ysj=int(rdd.count()/2)
#取data的数据长度并取中间值
ss=rdd.sortBy(lambda x:x, ascending=True,numPartitions=1).collect()
##把最终排序导入ss数组中
print(ss[ysj])
#输出结果
最终全代码演示如下:
import findspark
from pyspark import SparkContext, SparkConf
findspark.init()
conf = SparkConf().setAppName("jsytest").setMaster("local[4]")
sc = SparkContext(conf=conf)
data = [(1),(5),(7),(10),(23),(20),(6),(5),(10),(7),(10)]
rdd = sc.parallelize(data)
rdd.sortBy(lambda x:x, ascending=True,numPartitions=1).collect()
ysj=int(rdd.count()/2)
ss=rdd.sortBy(lambda x:x, ascending=True,numPartitions=1).collect()
print(ss[ysj])
运行结果演示
7