欢迎光临
我们一直在努力

spark中如何禁用和开启snappy压缩

spark中如何禁用和开启snappy压缩

spark的作用中如果需要从hdfs中读写较大的结果,最好开启snappy压缩,已取得较好的性能。

开启或者禁用snappy压缩的方法

  • 初始化sparkConf配置
    
    
    1
    2
    3
    var conf = new SparkConf()
    conf.set("spark.hadoop.mapred.output.compress", "true")
    conf.set("spark.hadoop.mapred.output.compression.codec","snappy")
  • 初始化HDFS的时候
    
    
    1
    2
    val conf = new Configuration()
    conf.set("mapreduce.map.output.compress", "true")

    禁用的话 把上面的true都改成false即可。

【本站文章皆为原创,未经允许不得转载】:汤不热吧 » spark中如何禁用和开启snappy压缩
分享到: 更多 (0)

评论 抢沙发

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址