spark中如何禁用和开启snappy压缩

spark中如何禁用和开启snappy压缩

spark的作用中如果需要从hdfs中读写较大的结果，最好开启snappy压缩，已取得较好的性能。

开启或者禁用snappy压缩的方法

• 初始化sparkConf配置

  
  1
  2
  3
  var conf = new SparkConf()
  
  conf.set("spark.hadoop.mapred.output.compress", "true")
  
  conf.set("spark.hadoop.mapred.output.compression.codec","snappy")
  
  

• 初始化HDFS的时候

  
  1
  2
  val conf = new Configuration()
  
  conf.set("mapreduce.map.output.compress", "true")
  
  

  禁用的话 把上面的true都改成false即可。