关键字: [Amazon Web Services re:Invent 2023, Coinbase, Ultra Low Latency Crypto Exchange, Amazon Web Services Services For Low Latency, Cluster Placement Groups, Raft Consensus Clusters, Cloud Native Exchange Design]

本文字数: 1400, 阅读完需: 7 分钟

视频

如视频不能正常播放，请前往bilibili观看本视频。>> https://www.bilibili.com/video/BV1bu4y1g7rw

导读

Coinbase 在亚马逊云科技上启动了一个国际交易所，具有从头开始构建的超低延迟机构级交易系统。在本论坛中，Coinbase Exchange 团队探讨了在云端运行国际加密货币交易所的业务需求和技术挑战，包括应用程序架构、基础架构和网络架构，以及其架构决策的性能权衡。了解 Coinbase Exchange 团队如何使用 Amazon EC2 群集放置组、高性能 EC2 实例和 Amazon Aurora 在其交易系统上实现亚毫秒的往返延迟。

演讲精华

以下是小编为您整理的本次演讲的精华，共1100字，阅读时间大约是6分钟。如果您想进一步了解演讲内容或者观看演讲全文，请观看演讲完整视频或者下面的演讲原文。

加密货币的出现为金融领域带来了新的可能性，实现了去中心化的安全数字交易。加密货币与法定货币之间的便捷可靠的兑换至关重要。作为主要的加密货币交易所之一，Coinbase认识到这一需求，并开始了一个雄心勃勃的项目，从基础开始构建一个能满足专业交易者和金融机构需求的机构级加密货币交易所。

经过紧张的筹备，Coinbase在2023年5月推出了Coinbase机构交易所。这个新交易所旨在实现平稳、超快的全天候24小时每周的加密货币交易。自成立以来，该交易所的交易量已超过150亿美元，并受到百慕大货币管理局的监管，展示了Coinbase对法规遵从的承诺。

为了实现高性能交易所的目标，Coinbase利用了亚马逊云科技(Amazon Web Services)来架构和部署系统。该交易所依赖于一个名为Aeron的消息传递框架，它在参与者之间传输市场数据和订单时提供了低延迟和高可靠性。此外，Coinbase建立了一个实时订单管理和匹配引擎系统，能够每秒处理100,000条消息，创下纪录的亚毫秒级延迟。

根据亚马逊云科技的高级解决方案架构师Joshua Smith的说法，低延迟对于成功的交易所至关重要。交易者希望尽快对价格信息进行操作并提交订单。因此，交易所必须尽量减少交易者在看到价格和执行订单之间的时间。低延迟和可预测的稳定性都是必不可少的——不可预测的延迟会削弱对交易所的信任。

对于延迟不敏感的应用程序，几百毫秒到几分钟的延迟可能是可以接受的。但对于低延迟需求，目标是达到亚毫秒级别。高频交易需要达到三位数甚至双位数的微秒级延迟。为了理解这一点，眨眼需要大约300毫秒，所以亚毫秒级别的延迟大约是1000倍的速度。

除了低延迟外，还需要高吞吐量来应对各种市场工作负荷。这种高性能需要在高峰时段全天保持可靠性。公平访问同样至关重要——任何交易员都不应享有不公平的速度优势。

为了实现低于毫秒的延迟，Coinbase将其交易系统设计为低延迟、单线程和确定性。这些系统作为弹性集群运行，每个节点将状态复制到其他节点。网关通过标准协议（如FIX和WebSocket）与客户端连接。

亚马逊云科技提供了一系列专为高CPU性能优化的计算实例类型，包括Coinbase选择的z1d实例。这些实例提供了高CPU频率搭配NVMe本地磁盘，用于缓冲数据并批量写入，而不影响应用延迟。

网络优化同样关键。虽然亚马逊云科技传输网关支持多播流量，但Coinbase使用直接的VPC对等连接来实现节点之间的最低延迟。为了进一步优化，亚马逊云科技集群放置组将实例物理位置靠近一起，以最小化节点间通信的网络延迟。

Coinbase的Kevin Arthur解释了订单如何处理过程。订单通过网关进入并通过订单管理系统进行验证。在完成风险检查后，订单被发送到匹配引擎，该引擎检查匹配的订单并执行交易。匹配引擎和订单管理系统使用称为Raft的共识算法来复制状态以保持一致性。

通过将关键组件在单个集群放置组中列载，Coinbase减少了跃点数并将内部延迟保持在1毫秒以下。完整的订单往返大约需要经过 10 个网络跳数，但仔细的优化使得中位延迟保持在 100 微秒以下。每个组件的处理时间只有几位微秒，这要归功于确定性的设计。网络占大约80%的延迟，所以最小化距离至关重要。

为了安全起见，Amazon Shield提供DDoS保护以确保可用性。它自动清洗恶意流量，而对合法连接的延迟没有影响。亚马逊云科技PrivateLink和VPC端点使Coinbase能够通过移除默认的互联网访问来保护其生产环境。流量通过防火墙VPC发出以避免延迟处罚。

亚马逊Aurora是一种分布式关系型数据库，实现了存储扩展与计算的分离。这种设计使得Coinbase能够在数据增长时自动扩展存储，而不会对低延迟应用程序节点产生任何影响。据Coinbase的Yu Kong Sun表示，构建一个高性能交易所所需的不仅仅是在生产环境中进行操作。他们使用了超过20个环境，包括用于开发、测试、临时等用途的环境。通过采用云原生设计原则，他们的开发者可以独立工作，同时确保平滑的集成。自动化部署工具允许快速升级和回滚，从而最大限度地减少停机时间。

在生产环境中，为了确保峰值性能而不影响可靠性和安全性，进行了许多权衡。生产能力规划确保组件适合单个集群放置组，以最小化网络延迟。选择高CPU和NVMe本地磁盘来加速处理。操作系统被调整以将热线程与冷线程隔离。

通过实时监控和报警管道确保可靠性。基础设施即代码实践确保了可审计性并实施了最佳实践。安全性通过广泛的身份和访问控制、VPC流量监控以及服务之间的加密得到增强。

该系统产生了大量需要实时处理和存档的数据。亚马逊Aurora提供了可扩展的SQL存储以供查找查询，而Kafka将数据流式传输到时间序列数据库以进行分析和仪表板。所有原始数据都持久存放在S3中。

总的来说，Coinbase通过利用亚马逊云科技的服务并与亚马逊云科技团队紧密合作，成功地构建了一个机构级别的加密货币交易所。他们的云原生设计和大量的优化使得他们能够实现超低延迟的匹配引擎，能够进行亚毫秒的交易。先进的亚马逊云科技技术使他们能够以敏捷的方式实现可靠性、安全性和可扩展性目标。随着加密货币在金融领域获得更广泛的应用，该交易所有望进一步增长。Coinbase的成功故事强调了亚马逊云科技的灵活性和全球规模如何帮助创新者迅速将雄心勃勃的想法变为现实。

下面是一些演讲现场的精彩瞬间：

低且可预测的延迟确保了市场的公平有效性，使交易者能够迅速执行操作。

亚马逊云科技的Joshua强调了在股票交易所系统中，低延迟、高吞吐量、全天候可靠性、易于部署以及公平的市场访问的重要性。

Joshua详细描述了亚马逊EC2如何在不同网络和硬件上分布工作负载以实现高可用性，这可能包括状态化应用程序（如数据库）出现的延迟问题。

演讲者介绍了2023年5月推出的Coinbase国际交易所，该交易所已交易了超过150亿美元的成交量，其核心系统设计用于处理每秒10万条消息。

亚马逊云科技为每位开发者创建了个人开发环境，以便他们可以在没有集成问题的情况下独立工作。

总结

Coinbase自始至终地构建了一家专业级别的加密货币交易所，旨在在亚马逊云科技上实现近乎毫秒级的延迟。他们采用了Raft共识模型进行匹配引擎和订单管理，并通过集群放置组、内核绕过等技术优化网络，从而降低延迟。借助Aeron消息传递事件驱动架构，实现了低延迟的数据复制和存档。

为了实现规模化、安全性及可靠性，他们采用了一种云原生设计理念，包含基础设施即代码和不可变基础设施。这使得在不同账户和区域间能够快速且可重复地进行部署。蓝色/绿色部署有助于快速升级。实时监控以及对特权访问的限制提高了弹性。多层网络模型将生产环境隔离开来，并实施最小特权原则。

总之，与亚马逊云科技的紧密合作为Coinbase提供了专用实例、网络功能、托管服务等优势，以满足其在延迟、吞吐量和可用性方面的需求。云原生方式对于成功启动和运营他们的交易所起到了至关重要的作用。

演讲原文

https://blog.csdn.net/just2gooo/article/details/134824572

想了解更多精彩完整内容吗？立即访问re:Invent 官网中文网站！

2023亚马逊云科技re:Invent全球大会 – 官方网站

点击此处，一键获取亚马逊云科技全球最新产品/服务资讯！

点击此处，一键获取亚马逊云科技中国区最新产品/服务资讯！

即刻注册亚马逊云科技账户，开启云端之旅！

【免费】亚马逊云科技“100 余种核心云服务产品免费试用”

【免费】亚马逊云科技中国区“40 余种核心云服务产品免费试用”

亚马逊云科技是谁？

亚马逊云科技（Amazon Web Services）是全球云计算的开创者和引领者，自 2006 年以来一直以不断创新、技术领先、服务丰富、应用广泛而享誉业界。亚马逊云科技可以支持几乎云上任意工作负载。亚马逊云科技目前提供超过 200 项全功能的服务，涵盖计算、存储、网络、数据库、数据分析、机器人、机器学习与人工智能、物联网、移动、安全、混合云、虚拟现实与增强现实、媒体，以及应用开发、部署与管理等方面；基础设施遍及 31 个地理区域的 99 个可用区，并计划新建 4 个区域和 12 个可用区。全球数百万客户，从初创公司、中小企业，到大型企业和政府机构都信赖亚马逊云科技，通过亚马逊云科技的服务强化其基础设施，提高敏捷性，降低成本，加快创新，提升竞争力，实现业务成长和成功。