Spark分析引擎
DLA Spark分析引擎提供Serverless化的Spark数据分析能力,用户在Spark中执行任务时,可以根据CU(compute units,计算单元)最大数量来灵活选择计算资源,达到弹性计算的能力。每个Spark任务均支持设置Driver数量和Executor数量。例如,同一个Spark任务,您可以选择使用较多数量(CU数量≤最大CU数量
)的CU高效、快速地执行任务,也可以选择使用较少数量的CU在较长时间内执行任务。
说明:
使用Spark服务时,会产生Spark费用。
1个CU=1CPU+4GB
DLA支持的最大CU数量有64CU、128CU两种类型,如果您需要更大处理能力的CU,请提交工单申请。
以下将详细为您介绍如何使用Spark执行任务。
-
创建和执行Spark任务
-
管理Spark任务