Dencun升级后，以太坊历史数据的长期存储与访问问题怎么解决？

ChainFeeds ｜2024-06-17 17:30

AI 大趋势下，Ethereum Wayback Machine（EWM）提供链上历史数据的归档和细致查询。

以太坊状态数据膨胀问题与解决方案

随着以太坊网络的流行和应用需求的增加，其历史状态数据开始快速增长。为应对这一问题，以太坊一步步改进，从最初的全节点到轻客户端，再到近期的 Dencun 升级引入状态过期功能来自动清理长期未使用的数据。

以太坊的长期目标之一是通过实现分片将数据分散到不同的区块链上，来减少单个区块链的负载，Dencun 升级中实施的 EIP-4844 是以太坊网络向全面实施分片的重要一步。EIP-4844 引入了「blobs」临时数据类型，让 Rollup 以更低的成本提交更多数据到以太坊主链。为了控制状态数据膨胀，以太坊将 blobs 数据在共识层节点存储约 18 天后删除。

除了以太坊自身的改进，还有一些项目比如Celestia、Avail和EigenDA也在构建解决方案以改善数据问题。他们提供了有效的短期数据可用性（DA）解决方案，增强了区块链的实时操作和可扩展性。然后这些方案并没有解决那些需要长期访问历史数据的应用，如那些依赖于长期存储用户身份验证数据的 dApp 或需要进行人工智能模型训练的 dApp。

为了解决以太坊生态系统中长期数据存储的挑战，EthStorage、Pinax、Covalent等项目提出了解决方法。EthStorage 为 Rollup 提供了长期的 DA，确保数据可以长期被访问和使用。Pinax、The Graph和StreamingFast联合开发了长期存储和检索 blobs 数据包的方案。Covalent 的 Ethereum Wayback Machine（EWM）不仅是一个长期数据存储解决方案，也是一个可以实现数据查询和分析的完整系统。

随着人工智能成为全球技术发展的主流趋势，其与区块链技术的结合也被视为未来的发展方向。这种趋势导致了对历史数据访问和分析需求在不断增长。在这种背景下，EWM 展示出其独特的优势。EWM 提供了对以太坊历史数据归档和数据处理，使得用户可以检索复杂的数据结构，对智能合约的内部状态、交易结果、事件日志等进行深入分析和查询。

Ethereum Wayback Machine (EWM) 简介

Ethereum Wayback Machine（EWM）借鉴了 Wayback Machine 的概念，保存以太坊上的历史数据，并使其可以被访问和验证。Wayback Machine 是由互联网档案馆 (Internet Archive) 创建的一个数字档案项目，旨在记录和保存互联网的历史。这个工具允许用户查看过去不同时间点上某个网站的存档版本，帮助人们了解网站内容的历史变化。

历史数据是区块链诞生的根本原因，不仅支撑了区块链的技术架构，也是其经济模型的基石。区块链设计之初，就是为了提供一个公开、不可更改的历史记录。比如比特币，是为了创建一个不可篡改、去中心化的账本，它记录每一笔交易的历史，以保证交易的透明性和安全性。历史数据的需求场景非常广泛，但目前缺乏一种高效且可验证的存储方式。EWM 作为长期 DA 解决方案，能够永久存储数据，包括 blob 数据，可以应对因状态过期和数据分片带来的历史数据可访问性问题。EWM 专注以太坊上历史数据的归档和长期可访问性，支持复杂的数据结构查询。接下来，我们将详细探讨 EWM 如何通过其独特的数据处理流程，实现这一目标。

EWM 的数据处理流程：提取、精炼与索引

Covalent 是为用户提供对区块链数据的访问和查询服务的平台。它通过捕获和索引区块链数据，并将其存储在网络上的多个节点上，实现了数据的可靠存储和快速访问。Covalent 通过 Ethereum Wayback Machine（EWM）来处理数据，确保区块链历史数据的持续可访问性。EWM 数据处理流程包括三个关键步骤：提取和导出（Extraction and Export）、精炼（Refinement）、索引和查询（Indexing and Query）。

提取和导出：这是流程的第一步，涉及到从区块链网络中直接提取历史交易数据。这一步骤由专门的实体，即 Block Specimen Producers（BSP），执行。BSP 的主要任务是创建并保存「区块样本」，即区块链数据的原始快照。这些区块样本作为区块链历史状态的规范表示，关键在于保持数据的完整性和准确性。创建后，这些区块样本会被上传到分布式服务器上（基于 IPFS 构建），并通过 ProofChain 合约进行发布和验证。这样不仅确保了数据的安全性，同时也为其他人提供了关于数据已被安全保存的信号。
精炼：在数据提取后，由 Block Results Producers（BRP）来精炼。BRP 负责将基础数据转化为更有用的形式。传统的区块链数据访问方法通常只能提供有限的信息，且不易于查询复杂的数据结构。通过重新执行和转换数据，BRP 能够提供更详尽的信息，如合约内部状态、交易执行路径等。此外，BRP 通过预处理和存储加工后的数据，显著减少了对每次查询或数据分析重新运行完整节点的需求，从而提高了查询速度，并降低了存储和计算成本。至此，原始的「区块样本」被转化为更容易被查询和分析的形式「区块结果」。这一过程不仅加快了 Covalent 网络的性能，也为数据的进一步查询和分析提供了更多的可能性。
索引和查询：最后查询运营商（Query Operators）将处理好的数据整理并保存在便于查找的位置。根据 API 用户的需求，从分布式服务器中提取数据，确保历史和实时数据都可以用于响应 API 查询。这样用户便能够有效地访问和利用存储在 Covalent 网络中的区块链数据。

Covalent 提供统一的 GoldRush API，支持从多个区块链（如以太坊、Polygon、Solana 等）获取历史数据。这个 GoldRush API 为开发者提供一站式数据解决方案，允许开发者通过单一的调用获取账户的 ERC20 代币余额和 NFT 数据，从而轻松构建加密货币和 NFT 钱包（如Rainbow、Zerion），极大简化了开发流程。此外，使用 API 访问 DA 数据需要消耗信用积分（Credit），不同类型的请求被分为不同类别（A 类、B 类、C 类等），每个类别都有自己特定的信用成本。这笔收入用于支持运营商网络。

未来展望

随着 AI 的快速发展，AI 与区块链的结合趋势愈发明显。区块链技术为 AI 提供了一个不可篡改且分布式验证的数据来源，增强了数据透明度和信任度，使 AI 模型在数据分析和决策制定时更精确可靠。AI 通过分析链上数据，能优化算法和预测趋势，从而直接执行复杂任务和交易，显著提高 dApp 的效率和降低成本。通过 EWM，AI 模型可以访问广泛的链上结构化 Web3 数据集，并且这些数据具有完整性和可验证性。EWM 作为 AI 模型与区块链之间的桥梁，极大地方便了AI 开发人员的数据检索和利用。

目前已经有一些 AI 项目整合了 Covalent：

SmartWhales：利用 AI 技术优化复制交易（copy trading）投资策略的平台。复制交易依赖于对历史数据的分析来识别成功的交易模式和策略。 Covalent 提供全面且详尽的区块链数据集，SmartWhales 通过这些数据分析过去的交易行为和结果，识别出哪些策略在特定市场条件下表现良好推荐给用户。
BotFi：DeFi 交易机器人。通过整合 Covalent 的数据来分析市场趋势和自动化交易策略，并根据市场变化自动进行买卖操作。
Laika AI：利用 AI 进行全面的链上分析。Laika AI 平台通过整合 Covalent 提供的结构化区块链数据，来驱动其 AI 模型，帮助用户进行复杂的链上数据分析。
Entendre Finance: 自动化 DeFi 资产管理，提供实时洞察和预测分析。其 AI 利用 Covalent 的结构化数据来简化和自动化资产管理，比如监控和管理数字资产的持有情况、自动执行特定的交易策略等。

EWM 也在随着需求的改变不断的改进升级，Covalent 工程师Pranay Valson 表示，未来 EWM 将扩展协议规范以支持其他区块链如 Polygon 和 Arbitrum，并会将 BSP 分叉集成到如 Nethermind 和 Besu 等以太坊客户端中，以实现更广泛的兼容性和应用。此外，EWM 在信标链上处理 blob 交易时，将使用 KZG 承诺，以提升数据的存储和检索效率，减少存储成本。