当数据经济发展到一定程度,人们都广泛并深度的参与其中,每个人都不可避免地参与不同数据存储的活动中。除此之外,随着 Web3 时代的到来,大部分科技领域都会在这几年慢慢开始升级或转型,而去中心化存储作为 Web3 的重要基础设施,未来将会落地更多的应用场景。比如我们熟知社交数据、短视频、直播、智能汽车等等他们背后的数据存储网络,也将会在未来采用去中心化存储的模式。

数据是 Web3 时代的核心资产,用户拥有数据是 Web3 的主要特征。让用户安全的拥有数据以及数据所代表的资产,打消普通用户对于资产安全性的各种担忧,有助于引导下一个 10 亿用户进入 Web。独立的数据可用性层将是 Web3 不可缺少的一个环节。

从去中心化存储到数据可用性层

过去数据都是通过传统的中心化方式进行云存储,数据通常被完整地存储在中心化的服务器上。亚马逊网络服务(AWS)是云存储的鼻祖,也是目前全球最大的云存储提供商。随着时间的推移,用户对于个人信息安全以及数据存储的需求不断提高,尤其是一些大型数据运营商发生数据泄露之后,中心化存储的弊端开始逐渐显现,传统的存储方式已经不能够满足当下市场的需求。再加上 Web3 时代的不断推进,区块链应用的展开,数据也变得多样化,数据规模也不断增长,个人网络数据的维度更加全面,也更具价值,使得数据安全和数据隐私变得更加重要,对于数据存储的要求也开始不断上升。

去中心化数据存储应运而生。去中心化存储是 Web3 领域最早出现也是受关注度最高的基础设施之一,最早的方案是 2017 年上线的 Filecoin。相比 AWS,去中心化和中心化有着本质的区别。AWS 建立和维护了自己的由多台服务器组成的数据中心,需要购买存储服务的用户可以直接向 AWS 付费。 而去中心化存储则遵循共享经济,利用海量边缘存储设备提供存储服务,数据实际上存储在 Provider 节点提供的存储上。因此,去中心化存储项目方无法控制这些数据。去中心化存储和 AWS 最本质的区别就是用户是否可以控制自己的数据。在这样一个没有中心化控制的系统中,数据的安全系数是很高的。

去中心化存储主要是通过分布式存储将文件或者文件集分片存储在存储空间上的存储商业模式。去中心化存储之所以重要,是因为它解决了 Web2 中心化云存储的种种痛点,更加顺应大数据时代发展的需求,能以更低成本,更高效率地存储非结构化的边缘数据,赋能各项新兴技术。因此,去中心化存储也可以说是 Web3 发展的基石。

目前常见的去中心化存储项目有两种,一种是以出块为目的,用存储来挖矿,这种模式带来的问题是在链上进行的存储和下载会拖慢实际的使用速度,下载一张照片需要几个小时的事时常会发生。另一种是采用一个或几个节点作为中心化节点,通过中心化节点的验证后,才能进行存储和下载,一旦中心化节点被攻击或者损坏,也会造成存储数据的丢失等。

相比于第一种项目,MEMO 的存储分层机制很好地解决了存储下载速度问题,使得存储下载速度能达到秒数级。相比于第二种项目,MEMO 采用 Keeper 的角色,对验证节点进行随机选择,避免了中心化的出现,同时保证了安全性。而且,MEMO 独创了 RAFI 技术,该技术能够让修复能力得到数倍提高,让存储的安全性、可靠性和可用性都大大提升。

数据可用性 DA(Data Availability)本质上就是轻节点在不参与共识的情况下,不需要存储全部数据,也不需要及时的维护全网的状态。对于这种节点,需要高效的方式确保数据可用性和准确。因为区块链的核心在于数据的不可更改。区块链能够保证数据在全网的数据是一致的。共识节点为了保证性能,会有更为中心化的趋势。其他节点需要通过 DA 获得经过共识确认的可用数据。独立的数据可用性层有效杜绝了单点故障问题,最大化保障了数据安全。

此外,如 zkRollup 这样的 Layer2 扩容方案也需要使用数据可用性层。作为执行层的 Layer2 借助了 Layer1 作为共识层,除了将批量交易的结果状态更新到 Layer1 上,也需要确保原始交易数据的可用性,以保证在没有证明者愿意生成证明的时后,仍然可以恢复 Layer2 网络的状态,避免用户资产被锁定在 Layer2 的极端情况。但是如果直接将原始数据存放于 Layer1,有违区块链网络模块化下 Layer1 作为共识层的职能,因此,将数据存放于专属的数据可用性层,而只将对这些数据计算的 Merkel 根记录于共识层中是更合理的设计,也是更长远必然的趋势。

图 1 为 Fox Tech 设计的通用 Layer2 独立数据可用层模型。

Web3趋势前瞻:为什么我们需要独立的数据可用性层?Web3趋势前瞻:为什么我们需要独立的数据可用性层?Web3趋势前瞻:为什么我们需要独立的数据可用性层?图 1: 通用 Layer2 独立数据可用层模型

独立数据可用性层分析之 Celestia

一个独立的数据可用层是一条公链,优于由一群有主观意识的人们组成的可用性委员会,如果窃取了足够的委员会成员的私钥(Ronin Bridge 和 Harmony Horizon Bridge 都发生过),使得链下数据可用性不可用,那么可以威胁用户——只有他们支付足够的赎金才能从 Layer2 提款。

既然链下的数据可用性委员会并非足够安全,那么如果引入区块链作为信任主体来保证链下数据可用性呢?

Celestia 所做的就是使数据可用性层更加去中心化——相当于提供了独立的 DA 公链,拥有一系列的验证节点、区块生产者和共识机制,以此提升安全等级。

Layer 2 把交易数据发布到 Celestia 主链,由 Celestia 的验证人对 DA Attestation 的 Merkle Root 进行签名,并发送给以太坊主链上的 DA Bridge Contract 进行验证并存储。这样实际上用 DA Attestation 的 Merkle Root 代替证明了所有的数据可用性,以太坊主链上的 DA Bridge Contract 只需要验证并存储这个 Merkle Root,开销得到了极大的降低。

Celestia 的欺诈证明是乐观证明,只要这个网络没有人出错,效率是非常高的。没有出错的话,我不会有欺诈证明。轻节点不需要做任何事情,只要收到数据,按照编码进行恢复,整个流程不出问题的情况下,乐观证明还是非常高效的。

独立数据可用性层分析之 MEMO

MEMO 是一个通过算法特性聚合全球边缘存储设备打造的新一代高容量、高可用性的企业级存储网络,团队成立于 2017 年 9 月,主要研究去中心化存储领域。MEMO 是基于区块链点对点技术的高安全、高可靠的大规模分散式数据存储协议,可以实现大规模的数据存储。与一对多的中心化存储不同,MEMO 可以实现去数据中心,多对多的存储操作。在 MEMO 的主链中,主要保存着用来约束所有节点的智能合约,存储数据的上传、存储节点的匹配、系统正常的运转、惩罚机制的运作等一系列关键性的操作,全都受到智能合约的控制。

技术方面,在现有分散式存储系统中,以 Filecoin、Arweave、Storj 等为代表,他们让所有计算机用户都可以连接和出租他们未使用的硬盘空间,以获得一定的费用或代币。虽然都是去中心化存储,但都各具特点,MEMO 的不同之处在于利用纠删码和数据修复技术改善了存储功能,让数据更安全,让存储与下载变得更高效。因为,打造一个更纯粹实用的分散式存储系统是 MEMO 的终极目标。

MEMO 在增强了存储易用性的同时优化了 Provider 的激励机制。除了 User 和 Provider 角色外,还引入了 Keeper 来防止节点被恶意攻击。该系统通过多个角色相互制约来维持经济平衡,能够支持高容量、高可用性的企业级商业存储用途,可为 NFT、GameFi、DeFi、SocialFi 等提供安全可靠的云存储服务,并兼容 WEB2,是区块链与云存储完美融合的产物。