标签：spark

2026-06-29andy阅读(24)

前言：为什么Spark内存管理至关重要 Apache Spark 作为大数据处理领域的事实标准框架，其核心优势之一就是基于内存的计算模型。相比 Hadoop MapReduce 的磁盘迭代模式，Spark 能够将中间结果保存在内存中，大幅提...

2026-06-25andy阅读(38)

在大数据处理领域，实时流计算已经成为企业数字化转型的核心能力之一。Apache Spark 的 Structured Streaming 模块自 Spark 2.0 引入以来，以其声明式 API、Exactly-Once 语义保证和与批处理...

2026-01-11andy阅读(364)评论(0)

作为站长或运维人员，在使用公有云或自建 VPS 上的大数据环境时，经常需要通过 Spark 进行 ETL 任务，并将结果写入 Hive 数据仓库。这一过程中，最常见的两大障碍是 Metastore 权限连接问题和数据路径冲突。 本文将聚焦如...

2018-01-10andy阅读(5990)评论(0)

spark中如何禁用和开启snappy压缩 spark的作用中如果需要从hdfs中读写较大的结果，最好开启snappy压缩，已取得较好的性能。 开启或者禁用snappy压缩的方法 初始化sparkConf配置 123var conf = n...