Amazon EC2 Hpc7g实例采用最新的Amazon Graviton3E处理器，为高性能计算工作负载提供卓越的性价比

Amazon EC2 C7gn搭载了新一代的Amazon Nitro，增强了网络处理能力。 Amazon EC2网络优化实例中提供最高网络带宽和数据包转发性能的实例Amazon EC2 Inf2 实例，使用最新的 Amazon Inferentia2 机器学习加速推理芯片在 Amazon EC2 上以最低的延迟和成本大规模运行大规模深度学习模型

北京2022年11月30日 /美通社/ -- 亚马逊云科技在2022 re:Invent全球大会上宣布推出三款由三款全新自研芯片支持的亚马逊弹性计算云（Amazon EC2）实例，为客户提供更高的成本适用于各种工作负载的性能。 Hpc7g实例搭载了亚马逊最新的自研Graviton3E处理器。与当前一代C6gn实例相比，浮点性能提升2倍，与当前一代Hpc6a实例相比，性能提升20%。工作负载提供极高的性价比。搭载新一代Amazon Nitro的C7gn实例，对比当前一代网络优化实例，每个CPU提供高达2倍的网络带宽，同时每秒数据包转发性能提升50%，为网络密集型工作负载提供超高的网络带宽、数据包转发性能和性价比。 Inf2实例搭载亚马逊最新研发的Inferentia2机器学习加速推理芯片，专为运行参数高达1750亿的大规模深度学习模型而打造，相比当前一代可提供高达4倍的吞吐量的 Inf1 实例，将延迟降低多达 10 倍，以最低的成本在 Amazon EC2 上为机器学习推理提供最低的延迟。

亚马逊云科技拥有十多年的芯片设计经验，在云端以更低的成本实现更高的性能和可扩展性。十多年来，亚马逊云科技推出了多种定制芯片设计，以帮助客户运行要求更高的工作负载，包括更快的处理速度、更高的内存容量、更快的存储输入/输出 (I/O) 和更高的网络带宽。亚马逊云科技自2013年推出Amazon Nitro系统以来，先后开发了多款自研芯片，包括第五代Nitro系统、专为各种工作负载提升性能和优化成本的第三代Graviton芯片，以及用于加速机器学习推理的芯片。两代 Inferentia 芯片，以及用于加速机器学习训练的 Trainium 芯片。亚马逊云科技在芯片设计和验证的敏捷开发周期中使用基于云的电子设计自动化，使团队能够更快地创新并更快地将芯片交付给客户。实践证明，亚马逊云技术更现代、更节能的半导体加工，保证了芯片的快速迭代和交付。每推出一款新芯片，亚马逊云科技都会进一步提升这些芯片所支持的Amazon EC2实例的性能、效率和成本优化，为客户提供更多的芯片和实例组合选择，针对其独特的工作负载进行优化。

亚马逊云技术 Amazon EC2 副总裁 David Brown 表示：“来自 Grav从iton到Trainium、Inferentia再到Nitro，亚马逊云科技的每一代自研芯片都为客户提供更高的性能、更优化的成本和更高的能效，适用于各种工作负载。我们不断创新，让客户获得卓越的性价比，这一直是我们不断创新的动力。我们今天推出的 Amazon EC2 实例为高性能计算、网络密集型工作负载和机器学习推理工作负载提供了显着的性能提升，为客户提供了更多实例选择来满足他们的特定需求。 “ 

Hpc7g 实例旨在为在 Amazon EC2 上大规模运行高性能计算工作负载提供超高性价比。

许多领域的组织都依赖高性能计算来解决复杂的学术、科学和商业问题。目前，许多客户如 AstraZeneca、F1 Formula 1、Maxar Technologies 等依靠亚马逊云技术提供的卓越安全性、可扩展性和弹性来运行传统的高性能计算工作负载，包括基因组学处理、计算流体动力学和天气预报工程师、研究人员和科学家使用 Amazon EC2 网络优化实例（例如 C5n、R5n、M5n 和 C6gn）运行高性能计算工作负载，这些实例提供几乎无限的计算能力和服务器之间的高网络带宽，可实现数千个内核处理和交换数据。虽然这些实例的性能足以应对当前大多数HPC场景，但人工智能、自动驾驶等新兴应用需要HPC优化实例，可以扩展到数万甚至更多的核心，进一步解决持续不断的问题增加难度系数并降低高性能计算工作负载的成本。 

Hpc7g 实例由全新的 Amazon Graviton3E 芯片提供支持，为客户提供 Amazon EC2 高性能计算工作负载（例如计算流体动力学、天气模拟、基因组学和分子动力学等）提供超高的性价比。与引力子Hpc7g实例与当前一代2核C6gn实例相比浮点性能提升2倍，与当前一代Hpc6a实例相比性能提升20%。执行复杂的计算。 Hpc7g实例还提供高内存带宽和200Gbps EFA（Elastic Fabric Adapter，弹性结构适配器）网络带宽，可以更快地运行和完成高性能计算应用。客户可以使用开源集群管理工具Amazon ParallelCluster来使用Hpc7g实例，并将Hpc7g实例与其他实例类型一起配置，这样客户就可以在同一个高性能计算集群中灵活地运行不同的工作负载类型。 

C7gn 实例为网络密集型工作负载提供出色的性能，具有更高的网络带宽、更高的数据包转发性能和更低的延迟客户使用 Amazon EC2 网络优化实例来运行他们要求极其苛刻的网络密集型工作负载，例如网络虚拟化设备（包括防火墙、虚拟路由器和负载均衡器等）和数据加密服务。客户需要针对这些工作负载扩展性能，以处理不断增加的网络流量以应对业务高峰，或缩短处理时间以为最终用户提供更好的体验。目前，客户为了获得更大的网络吞吐量，使用更大的实例，部署远超需求的计算资源，导致成本增加。这些客户需要更高的数据包转发性能、更高的网络带宽和更快的加密性能，以减少数据处理时间。 

C7gn 实例采用具有网络加速功能的全新第五代 Nitro， 芯片采购平台在 Amazon EC2 网络优化实例中提供最高的网络带宽和数据包处理性能，同时功耗更低。 Nitro 卡将主机 CPU 的 I/O 功能卸载并加速到专用硬件，将 Amazon EC2 实例的几乎所有资源提供给客户的工作负载，从而以更低的 CPU 利用率获得更稳定的性能。全新的Amazon Nitro卡让C7gn实例的每个CPU提供高达2倍的网络带宽，每秒数据包处理性能提升50%，与当前一代网络优化的Amazon相比，进一步降低EFA网络延迟EC2 实例。与C6gn实例相比，C7gn实例计算性能最高提升25%，加密性能最高提升2倍。与第四代Nitro相比，第五代Nitro的性能功耗比提升了40%，进一步降低了客户工作负载的能耗。 C7gn 实例通过扩展网络性能和吞吐量并减少网络延迟来优化客户在 Amazon EC2 上要求最苛刻的网络密集型工作负载的成本。 

Inf2 实例专为部署当今要求最严苛的深度学习模型而设计，支持分布式推理和随机舍入算法

为了提供更好的应用程序或更个性化的个性化体验，数据科学家和机器学习工程师正在构建更大、更复杂的深度学习模型。例如，具有超过 1000 亿个参数的大型语言模型 (LLM) 的日益普遍使用推动了计算需求的空前增长，因为它们需要训练大量数据。虽然训练得到了所有的关注，在生产中运行机器学习，但大部分的复杂性和成本都在推理上（例如，每花 1 美元在训练上，就会有多达 9 美元花在推理上），这限制了推理的使用并阻碍客户创新。客户希望在其应用程序中大规模使用高级深度学习模型，但受到高计算成本的限制。当亚马逊云科技在 2019 年推出 Inf1 实例时，深度学习模型有数百万个参数。从那时起，深度学习模型的规模和复杂性呈指数级增长呈指数级增长，甚至一些深度学习模型的参数增长了500倍，超过千亿。致力于使用最先进的深度学习技术开发下一代应用的客户希望拥有高性价比、高能效的硬件来实现低延迟、高吞吐量的推理和灵活的软件支持，让工程团队能够快速、大规模部署其业务创新。 Inf2实例，搭载亚马逊最新研发的Inferentia2机器学习加速推理芯片，可运行参数高达1750亿的大规模深度学习模型（如LLM、图像生成、自动语音检测），同时运行在Amazon EC2上提供最低的每次推理成本。 

Inf2 是第一个支持分布式推理的推理优化 Amazon EC2 实例，分布式推理是一种将大型模型分布在多个芯片上的技术，可为具有超过 1000 亿个参数的深度学习模型提供极致性能。 Inf2 实例支持随机舍入，这是一种概率舍入方式，可提供比传统舍入更高的性能和更高的精度。 Inf2 实例支持多种数据类型，包括可提高吞吐量并降低每次推理功耗的 CFP8，以及可提高尚未使用低精度数据类型的模块性能的 FP32。客户可以通过 Amazon Neuron（用于机器学习推理的统一软件开发工具包）开始使用 Inf2 实例。 Amazon Neuron 与 PyTorch 和 TensorFlow 等流行的机器学习框架集成，使客户能够以最少的代码更改将现有模型部署到 Inf2 实例。由于大型模型需要多个芯片的支持，因此需要芯片之间的快速通信。 Inf2实例支持亚马逊云科技内部的高速互联技术NeuronLink，提供192GB/s的环形连接。与当前一代的 Inf1 实例相比，Inf2 实例的吞吐量提高了 4 倍，延迟降低了 10 倍，并且每瓦性能比基于 GPU 的实例提高了45%。 

Arup 是一家由设计师、工程和可持续发展顾问、顾问和专家组成的全球性公司，致力于实践可持续发展，利用想象力、技术和严谨来建设一个更美好的世界。 “我们使用 Amazon Web Services 运行高度复杂的模拟，以帮助我们的客户建造下一代高层建筑、体育场馆、数据中心和关键基础设施，同时了解影响我们生活的城市微气候、全球变暖和气候变化。”评估并提供见解。” Arup 高级工程师 Sina Hassanli 博士说：“我们的客户希望以更低的成本获得更快、更准确的模拟，以便在开发的早期阶段为他们的设计提供信息。我们期待以更高的成本帮助我们的客户更快、更有效地创新性能 Amazon EC2 Hpc7g 实例。” Aerospike 的实时数据平台旨在帮助组织构建应用程序来打击欺诈和支持全球数字支付，为数千万客户提供超个性化的用户体验等。“Aerospike 实时数据平台是一个无共享的， Aerospike 首席产品官 Lenley Hensarling 说：“多线程、多模态数据平台旨在通过服务器集群高效运行，使用现代硬件和网络技术以亚毫秒速度提供 PB 级数据可靠的高性能。”交易量大幅增加。期待C7gn实例给我们带来的诸多优势，以及未来更多亚马逊云技术基础设施的改进潜在的。 “

Qualtrics 是一家设计和开发体验管理软件公司。 “Qualtrics 的重点是通过技术创新弥合客户、员工、品牌和产品之间的体验差距。为实现这一目标，我们正在开发复杂的多任务、多模态深度学习模型，包括文本分类、序列标签、话语分析、关键短语提取、主题提取、聚类和端到端对话理解。” Qualtrics Core Machine Learning 负责人 Aaron Colak 说。结构化数据量持续增长。为了给客户提供最佳体验，我们需要像 Inf2 实例这样更高性能的推理优化解决方案来满足我们的需求。我们非常很高兴看到新一代 Inf2 实例的推出，它不仅可以让我们实现更高的吞吐量，显着降低延迟，还引入了分布式推理和支持增强的动态形状输入等功能。随着我们部署更大更复杂模型，这将进一步满足我们对部署的更高要求。”

在线芯片商城    元器件芯片    常用电子元器件知识

• 科技
• 推出
• 三款
• 自研
• 亚马逊