标签：spark

2026-01-11andy阅读(59)评论(0)

作为站长或运维人员，在使用公有云或自建 VPS 上的大数据环境时，经常需要通过 Spark 进行 ETL 任务，并将结果写入 Hive 数据仓库。这一过程中，最常见的两大障碍是 Metastore 权限连接问题和数据路径冲突。 本文将聚焦如...

2018-01-10andy阅读(5783)评论(0)

spark中如何禁用和开启snappy压缩 spark的作用中如果需要从hdfs中读写较大的结果，最好开启snappy压缩，已取得较好的性能。 开启或者禁用snappy压缩的方法 初始化sparkConf配置 var conf = new ...