PySpark DataFrame 常用操作

1. 导出为csv文件

df_by_trucks.toPandas().to_csv('/dbfs/FileStore/static.csv', encoding='gb2312', index=False)
           

2. 创建DF或读入DF

from pyspark.sql import SparkSession
from pyspark.sql import Row
from pyspark.sql.types import *
from pyspark.sql.functions import *
 
df = spark.sql("select * from table_name")
           

3. 查询

可以用show也可以用display，区别就是show出来的结果是sql形式，而display是比较规范的表格形式，我个人比较喜欢用display。另外也可以用collect，这个输出是Row类。

spark.sql('select region,platecolor from fleetdatamodel_prd.trucks').show()
***************
region|platecolor|
+------+----------+
|    粤|        黄|
|    粤|        黄|
|    粤|        黄|
|    粤|        黄|
|    粤|        黄|
|    粤|        黄|
|    粤|        黄|
|    粤|        黄|
|    粤|        黄|
|    粤|        黄|
|    粤|        黄|
|    粤|        黄|
|    粤|        黄|
|    粤|        黄|
|    粤|        黄|
|    粤|        黄|
           

df = spark.sql('select region,platecolor from fleetdatamodel_prd.trucks')
display(df)
           

df = spark.sql('select carlicense,region,platecolor from fleetdatamodel_prd.trucks')
#打印摘要
df.printSchema()
#查询总行数
df.count()
#查询某列为Null的行
from pyspark.sql.functions import isnull
df.filter(isnull('CarLicense')).show()
#查询各列概况
df.describe().show()
#去重
df.select('CarLicense').distinct().show()
#where条件
df.where(df['region'] == '佛').show()
#排序
df.orderBy(df['region'].desc()).show()
#抽样，False代表不放回抽样，0.2表示抽样比例，1234是seed
df.sample(False,0.2,1234).show()
#新增数据列
df.withColumn('label',lit(0)).show(5)
#修改列名
df.withColumnRenamed('region','Region').show(5)
#合并表
df2 = df.join(df1,on = 'CarLicense',how = 'left')
display(df2)