去中心化云存储技术 | CESS 的多层网络架构详解
时间：2022-08-14 05:00:01
随着区块链的不同，区块链以其独特的分布式算法和技术底层实现了分布式存储，CESS（Cumulus Encrypted Storage System）分散云存储网络基础设施，让我们看到分散云存储的未来。
CESS 创新为区块链行业提供了有效可行的数据云存储技术解决方案 Web3 基础设施建设。CESS 为适应分散场景下数据的云存储和使用，提供安全、高性能、无限的云数据存储服务。同时，满足个人和企业的数据存储和共享需求，支持大型企业的高安全性和高性能存储需求。
我们在《CESS：本文从技术角度分析了去中心化数据存储的未来，CESS 数据共享协议和多份可恢复存储证书（PoDR2)和多类型数据确权机制（MDRC）等多种技术优势。CESS 技术创新不仅满足了区块链背景下数据云存储的需求，而且保证了数据的安全和私有性，将数据所有权归还给用户，并通过实践验证了区块链分散化的本质。
今天我们从技术实现的角度来看 CESS 如何设计其多层网络架构，以满足链上链下的数据存储需求。CESS 多层网络架构包括四层网络：区块链服务层、分布式存储资源层、分布式内容分发层和应用层。
区块链服务层/共识层
区块链服务层作为底层结构，是处理所有交易和合同的区块链网络，包括智能合约、共识算法、存储证明、资源管理P2P 协议、支付、激励等功能。
承担区块链资源管理器的功能是 CESS 公链系统单独结构的独特原因，CESS 作为云存储的基础设施。Blocks 包括交易、存储证明等。记录存储空间和存储内容元数据。在完成 CESS 除了基本任务外，区块包装任务的节点还需要根据供需等因素合理分配整个网络的存储资源。节点需要根据上链的存储资源进行部署，并与当前进行部署 Arweave 不同的数据链，CESS 首创存储资源链新模式，集中云的管理效率通过去中心化节点实现。
CESS 我们在区块链共识机制中《CESS：介绍了分散数据存储的未来，CESS 轮值共识节点机制采用创新的随机选择（R2S）实现区块包装等链上事务。链上共识的节点通过轮值完成，即随着时间的推移而变化。同时，这个轮值是随机选择的，简而言之，CESS 一定数量的轮值节点将量的轮值节点将负责共识的维护，并通过选择的随机性确保分散。
CESS 创新设计随机选择轮值共识节点机制（R2S），大节点垄断解决了矿工困境，大大提高了分散框架下的效率，实现了链上事务处理。所有想要成为共识节点的用户都可以在每个时间窗口(如每个时间窗口)自由添加候选节点 1 只选择一万块) 11 参与出块的正式轮值节点。未参与块的候选节点也可以通过参与数据预处理过程来证明其工作能力，从而参与下一轮正式轮值节点的选择。在此过程中，网络将对每个节点进行声誉评分。当节点在工作过程中损害网络的整体利益时，分数将降低。当分数低于某一基准线时，该节点将无法参与候选节点的竞争。
考虑到恶节点的出现或网络要求导致的节点被迫离线，网络将从候选节点中随机选择节点，直到本轮时间窗口的值完成。因此，对于共识节点矿工来说，即使只是作为候选节点，他们也需要对网络做出持续的贡献，这在很大程度上保证了资源的充分利用。
若某一节点受到恶意攻击，或某些数据丢失或损坏，CESS 通过多副本存储和数据恢复算法实现数据不丢失，确保数据完整性、数据安全和隐私。即使有任何单点故障，也不会影响在线存储服务，以确保数据的存在和随时访问，反映了负载平衡稳定、性能和可扩展性的先进性。
CESS 从存储公链的角度来看，采取的 R2S 该机制可以防止大矿工过于集中和垄断，从而更好地实现真正的分散存储；同时，通过随机选择 11 个轮值节点的设置很好地维护了共识，提高了在去中心化框架下的效率；存储内容元数据链的实现也保证了数据的真实性，降低了链上重复请求数据造成的高成本，方便了其他调度员在链上更有效地处理数据。CESS 通过 R2S 在整个网络中，节点参与门槛不仅公开、平和、透明，而且保证了网络共识和块的高效性。
分布式存储资源层
存储层是一个由存储矿工和缓存矿工共同贡献的网络，用于存储用户上传的文件、数据和其他信息。存储矿工可以通过提交存储证书来提供有效的存储空间并获得奖励。为了解决当前分散存储无法提供弹性和可伸缩云存储能力的问题，CESS 存储网络通过虚拟化技术存储存储资源「池化」，形成类似于去中心化云存储池的云存储服务模式，提供用户按需购买的云存储服务模式，屏蔽底部硬件差异化带来的不稳定性。
“池化” 具体来说，所有的存储资源都被视为一个整体的存储资源池，而不是个体矿工。用户上传的数据将随机分配给满足存储条件的存储矿工。“池化” 技术有效利用闲置资源，最大化利用效率。
CESS 在网络中设置调度服务，将存储用户的数据智能分配到全球节点，最大限度地利用存储空间，实现智能云空间管理。
当用户上传数据时，共识节点将首先加密数据（采用可信执行环境）、分片和冗余（分散代理重加密机制）。处理后的数据将根据用户的数据存储要求选择合格的矿工进行存储。这里值得高光的是，CESS 不是选择一个或几个矿工来完成存储任务，而是将切片数据段随机分发给满足要求的矿工。这也是防止大矿工垄断和伤害分散化的体现。
让我们来看看为什么同时为什么 CESS 又实现了存储资源的利用率最大化。在现有的存储网络中，当接收了较大规模的数据存储任务（例如超过 5TB 对于一些能力不足、设备有限的矿工来说，数据量无法实现整体存储，从而失去了贡献的机会。但是 CESS 分片存储可以使存储能力为 2TB 和 3TB 矿工一起完成这种存储需求。充分利用所有资源，最大化利用率。
同时，该模型还降低了存储设施的硬件阈值，对家庭矿工或个人矿工非常友好。一方面，矿工只需要执行存储任务，而不需要复杂和专业的事情，如订单接收和操作节点；另一方面，矿工随机接收数据段并不取决于矿工本身的规模。
CESS 以解决“现存的存储证明不实用”为出发点，通过深度改良数据持有性证明（PDP）算法引入可信执行环境（TEE），创新设计多副本可恢复存储认证机制（PoDR2）。CESS 多副本可恢复存储证明（PoDR2)机制使数据更安全，确保数据的完整性和可用性。我们在上一篇分析 CESS 详细介绍了技术优势 PoDR2。CESS 处理后的数据可以发送到每个存储矿工。在有效周期内，矿工需要报告自己存储的数据，以方便 CESS 系统确认数据是否损坏。重要的是，PoDR2 该机制将统计和监控构成单个文件（包括所有副本）的所有数据段。一旦某个数据段被认定为损坏，CESS 新的数据段将自动生成作为补充，并发送到新的存储矿工，以确保副本的可恢复性。
分布式内容分发层
分布式内容分发层由检索矿工和缓存矿工组成，这层网络起到了传统云存储的作用 CDN（Content Delivery Network）该功能可以提高网络中内容的检索和流行信息的分发效率 CESS 支持大型商业应用的原因之一。同时，对 CDN 分散技术创新也是实现分散云存储的重要表现。
首先，我们必须提到分散云存储的痛点——分散存储网络最大的问题之一不是存储本身，而是数据的上传。因此，对于我们的存储矿工来说，高网络成本来自于用户需要的数据上传需求。直接后果是，许多矿工在存储数据后通过存储证书确保数据的续存，但拒绝以更高的成本将数据上传给用户，导致存储网络实际上不可用。
它不仅是一个分散的存储网络，而且对于传统的云，它不能承受用户直接从云数据中心获取数据的高瞬时并发和流量，这也是 CDN 存在的必要性之一。
应用层
作为离用户最近、最直接的网络结构，应用层包含在内 CESS 以上构建的各种应用无限 Web2 和 Web3 领域等。我们从开发者的角度来分析，底层安全高效 CESS 为开发者和用户带来了哪些创新的应用体验？
CESS 采用了开发 Substrate 作为波卡的底层，开源框架继承了其多链和跨链的特性，使得 CESS 在与 Web3 项目的互动与兼容性具有自然优势。同时 CESS 未来不仅会支持 WASM，还将兼容 EVM。因此，对于新兴的波卡生态和 EVM 生态开发和应用具有很高的适应性和便利性。开发人员和开发团队可以使用熟悉的语言和方法 CESS 本地应用的开发大大降低了开发者的入门成本，帮助开发者 CESS 早期生态扩张实现快速增长。从开发者工具的角度来看，CESS 模块化开发工具将为应用程序的开发者提供 API 等服务，方便开发者开发应用网络数据存储、分发、智能合约、隐私保护和数据确认。
同时，CESS 它可以支持大规模的商业应用，也是业内第一个支持大规模商业应用的分散存储协议。对于能够处理大规模数据，实现安全高效的技术实现，我们对上述存储资源层和内容分发层进行了深入的解释。通过元数据链保证数据安全，降低矿工带宽成本，防止集中垄断，促进第三方调度链数据等技术优势，CESS 在去中心化框架下实现最大可能的效率。
/p>
总结
随着 Web3 时代的到来，会出现越来越多的应用和场景，去中心化云存储会成为企业机构、开发团队和用户的硬性需求。CESS 先见之明地发现了目前去中心化场景下云存储的不足，从自身的多层网络架构出发，不管共识层用随机选取轮值共识节点机制（R²S）来实现区块打包以及其他链上事务；还是运用多副本可恢复存储证明（PoDR²）保障了数据的完整和安全，提升矿工空间的利用率、提升数据存储的效率等；抑或是 CESS 在加密、存储证明、解密等环节通过创新加入可信执行环境 TEE 技术，保障数据安全和保护数据隐私等；CESS 用技术带来了区块链云存储的建设方案，向着去中心化云存储的未来迈出了坚实的一步。
如需更多技术分析，请参考 CESS 官方技术文章 👇
CESS机制详解(2)：区块链层与随机选取轮值(R²S)共识节点机制https://mp.weixin.qq.com/s?__biz=Mzg5OTYyMTgzNw==&mid=2247484397&idx=1&sn=4fef148cb6903811d15d1142c91d97a1&scene=21#wechat_redirect
CESS机制详解(3)：存储、内容分发网络与多副本可恢复存储证明https://mp.weixin.qq.com/s?__biz=Mzg5OTYyMTgzNw==&mid=2247484435&idx=1&sn=bf2a3ca3a7a75f2e7911ec4d0da9c064&scene=21#wechat_redirect
CESS机制详解(4)：应用层https://mp.weixin.qq.com/s?__biz=Mzg5OTYyMTgzNw==&mid=2247484474&idx=1&sn=177a5149acad80db5a2624a5aa67af53&scene=21#wechat_redirect
关于我们
One Block+ 是中国最大的 Substrate 技术开发者社区，也是 Parity 在亚洲唯一的运营合作伙伴，波卡生态早期项目的创始人、CTO、核心开发者大部分都来自 One Block+ 社区。
Twitter: https://twitter.com/OneBlock_
Medium: https://medium.com/@OneBlockplus
Telegram: https://t.me/oneblock_dev
Discord: https://discord.gg/z2XZZWEcaa
Bilibili: https://space.bilibili.com/1650224419
YouTube: https://www.youtube.com/channel/UCWo2r3wA6brw3ztr-JmzyXA
