本章节介绍大数据型实例规格族的特点并列出了具体的实例规格。

大数据型实例规格族介绍

大数据型实例规格族旨在解决大数据时代下海量业务数据的云上计算和存储难题，适用于Hadoop分布式计算、海量日志处理和大型数据仓库等需要海量数据存储和离线计算的业务场景，充分满足以Hadoop为代表的分布式计算业务对实例存储性能、容量和内网带宽等方面要求。

大数据型实例规格族适合有大数据计算与存储分析需求的行业客户，例如互联网行业、金融行业等。同时，结合以Hadoop为代表的分布式计算业务的高可用架构，大数据型实例采用本地存储的设计，保证海量存储空间、高存储性能。

大数据实例具有以下特点：
  • 基于企业级架构提供稳定计算能力，为高效处理计算作业提供保障。
  • 网络性能更高（包括单实例最大内网带宽和最大小包转发率），满足业务高峰期实例间的数据交互需求，例如MapReduce计算框架下的Shuffle过程。
  • 单磁盘顺序读写性能达190 MB/s（首次创建实例时，磁盘需要预热才能达到最高性能），单实例存储吞吐能力最大5 GB/s，缩短HDFS文件读取和写入时间。
  • 本地存储价格比SSD云盘降低97%，大大降低Hadoop集群建设成本。
使用大数据实例时请注意：
  • 不支持变配和宕机迁移。
  • 本地盘与特定规格的实例相绑定，本地盘的数量和容量由您选择的实例规格决定。不支持单独购买本地盘，不支持将本地盘卸载并挂载到另一台实例上使用。
  • 本地盘不支持快照功能。如果您需要为本地盘实例创建包含系统盘和数据盘的镜像，建议通过组合系统盘快照和数据盘（仅限云盘）快照的方式来创建。
  • 不支持基于实例ID创建包含系统盘和数据盘的镜像，因此您也不能使用自定义镜像创建本地盘实例。
  • 支持挂载SSD云盘，挂载的云盘支持扩容。
  • 本地盘来自单台物理机，数据可靠性取决于物理机的可靠性，存在单点故障风险。建议您在应用层做数据冗余，保证数据的可用性。您可以使用部署集将业务涉及到的几台ECS实例分散部署在不同的物理服务器上，保证业务的高可用性和底层容灾能力。详情请参见创建部署集。
    警告 使用本地盘存储数据有丢失数据的风险，例如ECS实例所在物理机发生硬件故障时。请勿在本地盘上存储需要长期保存的业务数据。如果您的应用无数据可靠性架构设计，强烈建议您在ECS实例中同时使用云盘，提高数据可靠性。
  • 操作本地盘实例可能对本地盘数据产生影响，详情请参见实例操作对本地盘数据的影响。

大数据实例文件系统挂载最佳实践

使用ext4等文件系统，首次执行mount操作时需要初始化inode table。在Linux的2.6.37及更高的内核版本中，默认启用了lazyinit特性，导致inode table初始化会延迟到mount后，且本地盘在初始化时会占用较大吞吐量（例如30个本地盘的吞吐量可能高达600MB/s），影响业务稳定性。4.x版本内核中增加了lazyinit并发度，可以缓解该问题，详情请参见社区。ECS推荐以下最佳实践，使您在相对较快的时间内完成初始化：
  1. 获取所有SATA HDD本地盘列表。
  2. 运行以下命令，为每个本地盘开启独立的后台初始化。

    本示例中，在设备名为/dev/vdb的本地盘上创建ext4文件系统。 

    mkfs.ext4 -E lazy_itable_init=0,lazy_journal_init=0 /dev/vdb &
  3. 等待所有本地盘完成初始化，并运行iostat -x 5，直至所有本地盘的I/O活动显示为0。
  4. 批量执行mount操作。

大数据存储密集型实例规格族d2s

d2s的特点如下：
  • I/O优化实例
  • 仅支持SSD云盘和高效云盘
  • 实例配备大容量、高吞吐SATA HDD本地盘，辅以最大35 Gbit/s实例间网络带宽
  • 支持在线更换坏盘，如果单块本地盘出现磁盘故障，支持热插拔坏盘，避免导致实例停机。如果物理机存在可用备盘，会进行在线替换；如果无可用备盘，等待坏盘更换后恢复磁盘。
    说明 坏盘中的数据不可恢复。
  • 处理器：2.5 GHz主频的Intel ® Xeon ® Skylake 8164
  • 实例网络性能与计算规格对应（规格越高网络性能越强）
  • 适用场景：
    • Hadoop MapReduce、HDFS、Hive、Hbase等大数据计算和存储业务场景
    • Spark内存计算、MLlib等机器学习场景
    • ElasticSearch、Kafka等搜索和日志数据处理场景
d2s包括的实例规格及指标数据如下。
实例规格 vCPU 内存（GiB） 本地存储（GiB） 网络带宽能力（出/入）（Gbit/s） 网络收发包能力（出/入）（万PPS） 支持IPv6 多队列 弹性网卡（包括一块主网卡） 单块弹性网卡的私有IP
ecs.d2s.5xlarge 20 88.0 8 * 7300 12.0 160 是 8 8 20
ecs.d2s.10xlarge 40 176.0 15 * 7300 20.0 200 是 16 8 20
ecs.d2s.20xlarge 80 352.0 30 * 7300 35.0 450 是 32 8 20
说明

大数据网络增强型实例规格族d1ne

d1ne的特点如下：
  • I/O优化实例
  • 仅支持SSD云盘和高效云盘
  • 实例配备大容量、高吞吐SATA HDD本地盘，辅以最大35 Gbit/s实例间网络带宽
  • 处理器与内存配比为1:4，为大数据场景设计
  • 处理器：2.5 GHz主频的Intel ® Xeon ® E5-2682 v4（Broadwell）
  • 实例网络性能与计算规格对应（规格越高网络性能越强）
  • 适用场景：
    • Hadoop MapReduce/HDFS/Hive/HBase等
    • Spark内存计算/MLlib等
    • Elasticsearch、日志等
d1ne包括的实例规格及指标数据如下。
实例规格 vCPU 内存（GiB） 本地存储（GiB） 网络带宽能力（出/入）（Gbit/s） 网络收发包能力（出/入）（万PPS） 支持IPv6 多队列 弹性网卡（包括一块主网卡） 单块弹性网卡的私有IP
ecs.d1ne.2xlarge 8 32.0 4 * 5500 6.0 100 是 4 4 10
ecs.d1ne.4xlarge 16 64.0 8 * 5500 12.0 160 是 4 8 20
ecs.d1ne.6xlarge 24 96.0 12 * 5500 16.0 200 是 6 8 20
ecs.d1ne-c8d3.8xlarge 32 128.0 12 * 5500 20.0 200 是 6 8 20
ecs.d1ne.8xlarge 32 128.0 16 * 5500 20.0 250 是 8 8 20
ecs.d1ne-c14d3.14xlarge 56 160.0 12 * 5500 35.0 450 是 14 8 20
ecs.d1ne.14xlarge 56 224.0 28 * 5500 35.0 450 是 14 8 20
说明

大数据型实例规格族d1

d1的特点如下：
  • I/O优化实例
  • 仅支持SSD云盘和高效云盘
  • 实例配备大容量、高吞吐SATA HDD本地盘，辅以最大17 Gbit/s实例间网络带宽
  • 处理器与内存配比为1:4，为大数据场景设计
  • 处理器：2.5 GHz主频的Intel ® Xeon ® E5-2682 v4（Broadwell）
  • 实例网络性能与计算规格对应（规格越高网络性能越强）
  • 适用场景：
    • Hadoop MapReduce、HDFS、Hive、HBase等
    • Spark内存计算、MLlib等
    • 互联网行业、金融行业等有大数据计算与存储分析需求的行业客户，进行海量数据存储和计算的业务场景
    • Elasticsearch、日志等
d1包括的实例规格及指标数据如下。
实例规格 vCPU 内存（GiB） 本地存储（GiB） 网络带宽能力（出/入）（Gbit/s） 网络收发包能力（出/入）（万PPS） 支持IPv6 多队列 弹性网卡（包括一块主网卡） 单块弹性网卡的私有IP
ecs.d1.2xlarge 8 32.0 4 * 5500 3.0 30 否 1 4 10
ecs.d1.3xlarge 12 48.0 6 * 5500 4.0 40 否 1 6 10
ecs.d1.4xlarge 16 64.0 8 * 5500 6.0 60 否 2 8 20
ecs.d1.6xlarge 24 96.0 12 * 5500 8.0 80 否 2 8 20
ecs.d1-c8d3.8xlarge 32 128.0 12 * 5500 10.0 100 否 4 8 20
ecs.d1.8xlarge 32 128.0 16 * 5500 10.0 100 否 4 8 20
ecs.d1-c14d3.14xlarge 56 160.0 12 * 5500 17.0 180 否 6 8 20
ecs.d1.14xlarge 56 224.0 28 * 5500 17.0 180 否 6 8 20
说明