对 Amazon Redshift ra3.16xlarge 与 ds2.8xlarge 实例的性能进行基准测试

barikulislam014

新 RA3 Amazon Redshift 节点类型初探 目录 介绍 眼镜 复印性能 输入/输出性能 真实世界的表现 存储与计算分离 结论 介绍 今天，我们非常高兴能够撰写有关新 Amazon Redshift RA3 实例类型发布的文章。这种新节点类型的推出非常重要，原因如下： 这种集群类型的每个节点拥有 64Tb 的存储空间，有效地将计算与存储分开。在 RA3 集群上，通常仅在需要更多计算能力（CPU/内存/IO）时才会添加和删除节点。对于大多数用例，这应该消除仅仅因为磁盘空间不足而添加节点的需要。 RA3 节点已通过多种方式针对快速存储 I/O 进行了优化，包括本地缓存。这些节点还包括新型块级缓存，该缓存根据块级的查询访问模式对频繁访问的数据进行优先级排序。


与上一代实例相比，RA3 节点的网络带宽是前一代实例的 5 倍。这将显着提高需要在节点之间重新分配大量数据的 COPY、INSERT 和查询的性能。 这是 Amazon Redshift 可以可信地声称“存储和计算分 沙特阿拉伯电报号码数据 离”的第一个功能。由于 ra3.16xlarge 集群必须至少有两个节点，因此最小集群大小高达 128TB。这个数字如此之高，以至于存储实际上不再是问题。 在这篇文章中，我们将探讨新的 ra3.16xlarge 实例类型的性能，并将其与下一个最大的实例类型 ds2.8xlarge 进行比较。由于 ra3.16xlarge 明显大于 ds2.8xlarge，因此我们将 2 节点 ra3.16xlarge 集群与 4 节点 ds2.8xlarge 集群进行比较，看看它们的叠加情况。



眼镜 理论上，第384章        8 进行测试！ 复印性能 据报道，RA3 实例类型的改进是用于将数据移入和移出 Redshift 的管道更大。由于从 S3 或 DynamoDB 等存储层加载数据进行计算是一种常见的工作流程，因此我们想要测试这种传输速度。 我们使用 Redshift 的COPY 命令从 S3 读取和加载数据文件，该数据文件已从包含 38 亿行的源表中卸载。目标表被删除并在每个副本之间重新创建。我们遵循将数据加载到 Redshift 的最佳实践，例如使用清单文件来定义正在加载的数据文件并在目标表上定义分布样式。