2020年2月11日 第522页
-
Spark对接Kafka快速入门_Spark ETL&Streaming数据源连接器_X-Pack Spark计算服务_云数据库 HBase 版
Spark对接Kafka快速入门 简介消息队列 Kafka 是一个分布式的、高吞吐量、高可扩展性消息队列服务,广泛用于日志收集、监控数据聚合、流式数据处理、在线和离线分析等大数据领域,是大数据生态中不可或缺的产品之一。这里主要介绍通过“数据工作台”使用SparkStreaming对接Kafka 0.10的方法。...
-
作业管理_数据工作台_X-Pack Spark计算服务_云数据库 HBase 版
作业管理 作业管理支持通过spark-submit脚本、spark SQL方式编写scala&python&java作业及SQL,提交集群运行、结果展示等功能;同时可以添加到工作流做周期定时调度。入口:https://hbase.console.aliyun.com/hbase/cn-shang...
-
Spark对接DataHub快速入门_Spark ETL&Streaming数据源连接器_X-Pack Spark计算服务_云数据库 HBase 版
Spark对接DataHub快速入门 简介阿里云流数据处理平台DataHub是流式数据(Streaming Data)的处理平台,提供对流式数据的发布(Publish),订阅(Subscribe)和分发功能,让您可以轻松构建基于流式数据的分析和应用。这里主要介绍通过“数据工作台”使用SparkStreaming...
-
Spark对接LogHub快速入门_Spark ETL&Streaming数据源连接器_X-Pack Spark计算服务_云数据库 HBase 版
Spark对接LogHub快速入门 简介日志服务(Log Service,简称 LOG)是针对日志类数据一站式服务,在阿里巴巴集团经历了大量大数据场景锤炼而成。用户无需开发就能快捷完成数据采集、消费、投递以及查询分析等功能,帮助提升运维、运营效率,建立 DT 时代海量日志处理能力。这里主要介绍通过“数据工作台”...
-
工作流_数据工作台_X-Pack Spark计算服务_云数据库 HBase 版
工作流 工作流可以对作业进行组织编排、设定运行依赖关系,进行定时、周期性调度,并设置失败报警。入口:https://hbase.console.aliyun.com/hbase/cn-shanghai/workspace/workflow 比如下面这个4节点的菱形工作流。当工作流运行时,依赖调度运行顺序基本是:...
-
Spark对接OSS快速入门_Spark ETL&Streaming数据源连接器_X-Pack Spark计算服务_云数据库 HBase 版
Spark对接OSS快速入门 简介对象存储服务(Object Storage Service,OSS)是一种海量、安全、低成本、高可靠的云存储服务,适合存放任意类型的文件。容量和处理能力弹性扩展,多种存储类型供选择,全面优化存储成本。本文主要介绍通过Spark操作OSS数据的常见方式,代码以Scala为例。本文...
-
Spark对接MongoDB快速入门_Spark ETL&Streaming数据源连接器_X-Pack Spark计算服务_云数据库 HBase 版
Spark对接MongoDB快速入门 简介云数据库 MongoDB 版(ApsaraDB for MongoDB)基于飞天分布式系统和高可靠存储引擎,完全兼容MongoDB协议,提供稳定可靠、弹性伸缩的数据库服务。云Spark分析引擎已支持对接云数据库 MongoDB 版,提供分析MongoDB数据库的能力。这...
-
一键流式归档 HBase 数据到 Spark_一键归档Spark数仓计算_X-Pack Spark计算服务_云数据库 HBase 版
一键流式归档 HBase 数据到 Spark X-Pack Spark 一键归档支持将 HBase数据通过增量日志方式归档到 X-Pack Spark 数据仓库(对在线业务稳定性无影响),在 X-Pack Spark集群进行数据计算性能大幅提升。同时相比传统的大数据Lambda架构(流、批计算、在线服务独立)架...
-
一键归档 RDS &POLARDB数据到 Spark_一键归档Spark数仓计算_X-Pack Spark计算服务_云数据库 HBase 版
一键归档 RDS &POLARDB数据到 Spark 批量归档目前支持从 Mysql、POLARDB 等数据库把业务数据批量归档到 Spark。本文将以 MySQL 为例详细介绍如何使用本工具。 一、前置条件购买 MySQL/POLARDB 数据库如已经购买了 MySQL 数据库则本小结可以忽略,如未购...
-
Spark用户手册_开发指南_X-Pack Spark计算服务_云数据库 HBase 版
Spark用户手册 概述Spark是专为大规模数据处理而设计的快速通用的计算引擎,应用非常广泛。本文主要介绍Spark相关的知识,主要包括:了解Spark,使用Spark,Spark典型案例(包括实现)、使用Spark过程中遇到的问题FAQ等,谨帮助用户快速了解Spark、以及如何使用Spark。本文内容是面对...