spark

2018-01-24andy阅读(5386)评论(0)

关于SBT你需要知道的那些事 之前在做一个有关spark的项目的时候，需要使用sbt构建scala代码，以前主要用maven，gradle也用一点，但是sbt实在陌生，摸索了一阵，把自己在使用sbt中最需要了解的东西记下来，以备同样不熟悉的...

2018-01-10andy阅读(5297)评论(0)

spark中如何禁用和开启snappy压缩 spark的作用中如果需要从hdfs中读写较大的结果，最好开启snappy压缩，已取得较好的性能。 开启或者禁用snappy压缩的方法 初始化sparkConf配置 123var conf = n...