2020年2月11日 第522页
-
Spark对接Kafka快速入门_Spark ETL&Streaming数据源连接器_X-Pack Spark计算服务_云数据库 HBase 版
Spark对接Kafka快速入门 简介消息队列 Kafka 是一个分布式的、高吞吐量、高可扩展性消息队列服务，广泛用于日志收集、监控数据聚合、流式数据处理、在线和离线分析等大数据领域，是大数据生态中不可或缺的产品之一。这里主要介绍通过“数据工作台”使用SparkStreaming对接Kafka 0.10的方法。...
-
作业管理_数据工作台_X-Pack Spark计算服务_云数据库 HBase 版
作业管理 作业管理支持通过spark-submit脚本、spark SQL方式编写scala&python&java作业及SQL，提交集群运行、结果展示等功能；同时可以添加到工作流做周期定时调度。入口：https://hbase.console.aliyun.com/hbase/cn-shang...
-
Spark对接DataHub快速入门_Spark ETL&Streaming数据源连接器_X-Pack Spark计算服务_云数据库 HBase 版
Spark对接DataHub快速入门 简介阿里云流数据处理平台DataHub是流式数据（Streaming Data）的处理平台，提供对流式数据的发布（Publish），订阅（Subscribe）和分发功能，让您可以轻松构建基于流式数据的分析和应用。这里主要介绍通过“数据工作台”使用SparkStreaming...
-
Spark对接LogHub快速入门_Spark ETL&Streaming数据源连接器_X-Pack Spark计算服务_云数据库 HBase 版
Spark对接LogHub快速入门 简介日志服务（Log Service，简称 LOG）是针对日志类数据一站式服务，在阿里巴巴集团经历了大量大数据场景锤炼而成。用户无需开发就能快捷完成数据采集、消费、投递以及查询分析等功能，帮助提升运维、运营效率，建立 DT 时代海量日志处理能力。这里主要介绍通过“数据工作台”...
-
工作流_数据工作台_X-Pack Spark计算服务_云数据库 HBase 版
工作流 工作流可以对作业进行组织编排、设定运行依赖关系，进行定时、周期性调度，并设置失败报警。入口：https://hbase.console.aliyun.com/hbase/cn-shanghai/workspace/workflow 比如下面这个4节点的菱形工作流。当工作流运行时，依赖调度运行顺序基本是：...
-
Spark对接OSS快速入门_Spark ETL&Streaming数据源连接器_X-Pack Spark计算服务_云数据库 HBase 版
Spark对接OSS快速入门 简介对象存储服务（Object Storage Service，OSS）是一种海量、安全、低成本、高可靠的云存储服务，适合存放任意类型的文件。容量和处理能力弹性扩展，多种存储类型供选择，全面优化存储成本。本文主要介绍通过Spark操作OSS数据的常见方式,代码以Scala为例。本文...
-
Spark对接MongoDB快速入门_Spark ETL&Streaming数据源连接器_X-Pack Spark计算服务_云数据库 HBase 版
Spark对接MongoDB快速入门 简介云数据库 MongoDB 版（ApsaraDB for MongoDB）基于飞天分布式系统和高可靠存储引擎，完全兼容MongoDB协议，提供稳定可靠、弹性伸缩的数据库服务。云Spark分析引擎已支持对接云数据库 MongoDB 版，提供分析MongoDB数据库的能力。这...
-
一键流式归档 HBase 数据到 Spark_一键归档Spark数仓计算_X-Pack Spark计算服务_云数据库 HBase 版
一键流式归档 HBase 数据到 Spark X-Pack Spark 一键归档支持将 HBase数据通过增量日志方式归档到 X-Pack Spark 数据仓库(对在线业务稳定性无影响)，在 X-Pack Spark集群进行数据计算性能大幅提升。同时相比传统的大数据Lambda架构(流、批计算、在线服务独立)架...
-
一键归档 RDS &POLARDB数据到 Spark_一键归档Spark数仓计算_X-Pack Spark计算服务_云数据库 HBase 版
一键归档 RDS &POLARDB数据到 Spark 批量归档目前支持从 Mysql、POLARDB 等数据库把业务数据批量归档到 Spark。本文将以 MySQL 为例详细介绍如何使用本工具。 一、前置条件购买 MySQL/POLARDB 数据库如已经购买了 MySQL 数据库则本小结可以忽略，如未购...
-
Spark用户手册_开发指南_X-Pack Spark计算服务_云数据库 HBase 版
Spark用户手册 概述Spark是专为大规模数据处理而设计的快速通用的计算引擎，应用非常广泛。本文主要介绍Spark相关的知识，主要包括：了解Spark，使用Spark，Spark典型案例（包括实现）、使用Spark过程中遇到的问题FAQ等，谨帮助用户快速了解Spark、以及如何使用Spark。本文内容是面对...