欢迎光临
我们一直在努力

spark

关于SBT你需要知道的那些事-汤不热吧

关于SBT你需要知道的那些事

andy阅读(2160)评论(0)

关于SBT你需要知道的那些事 之前在做一个有关spark的项目的时候,需要使用sbt构建scala代码,以前主要用maven,gradle也用一点,但是sbt实在陌生,摸索了一阵,把自己在使用sbt中最需要了解的东西记下来,以备同样不熟悉的...

spark中如何禁用和开启snappy压缩-汤不热吧

spark中如何禁用和开启snappy压缩

andy阅读(1003)评论(0)

spark中如何禁用和开启snappy压缩 spark的作用中如果需要从hdfs中读写较大的结果,最好开启snappy压缩,已取得较好的性能。 开启或者禁用snappy压缩的方法 初始化sparkConf配置 123var conf = n...