数据可用性采样 DAS
在分片系统中，数据可用性问题指的是如何保证所有分片的交易数据都能被网络中的节点访问和验证。因为分片的目标是让每个节点只处理一部分交易数据，分片中的节点只需处理与自己相关的分片数据，而不需要处理全网数据。这个分片机制虽然可以提高处理能力，但会带来一个问题：
如果一个分片的数据不可用（例如，分片的数据被恶意节点藏匿或篡改），会导致整个系统的安全性和一致性受到威胁，因为无法确保这些分片的交易是有效的。
数据可用性采样是一种通过随机抽样的方法，来验证分片数据是否完整可用的技术。具体而言，DAS采用了纠删码和抽样验证相结合的方式，确保即使每个节点只查看分片数据的一小部分，也可以判断整个数据是否可用。
DAS的工作原理
DAS的实现依赖以下几个核心技术步骤：
1. 纠删码（Erasure Coding）
纠删码是一种数据编码方法，用于生成冗余信息，使数据即使部分丢失也可以恢复。通俗来说，它就是让一部分数据重复编码成冗余信息，以防数据丢失。
举例
想象你要发送一本书给朋友，但是担心快递中途丢失书页。为了保险起见，你对这本书的每页做了多次复印，还制作了一些“额外的页码”。假如书有100页，你可以复印成150页，其中50页是通过编码生成的“额外页”。这样，即使有一些页码丢失，你的朋友也可以通过剩下的页码“拼凑出”完整的书。
在区块链中的纠删码工作方式类似：区块链中的分片数据会生成额外的冗余信息，这样即使部分数据丢失，仍然可以恢复出完整数据。节点可以通过这些冗余数据来验证数据的可用性和完整性。
2. 采样验证（Sampling Verification）
采样验证是一种随机检查数据完整性的方法。它的核心思想是：通过检查一小部分数据，推测整组数据是否完整。这样可以避免验证整个数据集，降低负担。
举例
假设有一个考卷有100道题，老师可以逐题检查每位同学的答案，但这样效率很低。于是，老师决定抽查每位同学的10道题，看看这10道题的回答是否都正确。如果抽查的题目都回答正确，老师就推测整份考卷的其他题目大概率也是正确的。
在区块链中，采样验证的作用类似。节点不会去验证整个分片数据，而是随机抽查其中一部分数据（例如10%的数据）。如果抽查的数据完整、正确，就可以推测整个分片数据是完整的。这样就减少了每个节点的验证负担，但又确保了数据的可用性。
采样验证可能存在一定的准确性问题
因为它是一种概率性验证方法，依赖于抽样的结果来推测整体数据的完整性。如果老师从100道题中只抽查10道题，可能存在一些潜在的误差，即使这10道题都答对了，也不能完全确保整份考卷都是正确的。
方案一：高频多节点采样 - 增强准确性
在区块链网络中，多个节点会同时进行采样验证。不同节点在不同时间从同一个分片数据中随机抽取不同的样本进行验证，这意味着：
每个节点只需要验证一小部分数据，但整个网络的所有节点共同验证了数据的大部分甚至全部。
多个节点抽样的覆盖面会非常广，从而大幅降低抽样验证不准确的风险。
如果我们用课堂的例子来类比，相当于不仅老师在抽查10道题，还安排了很多老师，每位老师都随机抽查10道题。这样，假设每位老师抽查的题目都不一样，最终覆盖的题目可能会接近100道，这样就提高了整体检查的准确性。
方案二：采样比例和覆盖面 - 提高采样的置信度
在实际应用中，区块链系统可以通过调整采样比例和频率来增加准确性。假设从100个数据块中采样10个数据块，理论上可能不够精确。但在区块链中，每个节点并不会只采样一轮，而会持续随机采样，且采样的数据量通常比10%更高，覆盖的范围更广，误差风险因此降低。
在考卷例子中，这相当于老师多次、持续随机抽查不同的10道题，甚至采样20道题。这样可以大幅提升验证的置信度，确保整体准确性。
方案三：容错机制 - 检测并修正误差
在区块链中，采样验证的准确性还依赖于网络的整体设计，通常会加入一些容错机制。例如：
如果采样验证发现数据可能有误，系统可以自动触发更详细的验证流程，甚至可以要求更多节点验证更多样本。
节点间的分布式共识机制也会确保异常数据被标记，减少误差可能带来的安全风险。
3. KZG承诺（KZG Commitment）
KZG承诺是一种加密承诺，用来验证数据的完整性，而不需要查看数据的全部内容。它的作用是让节点能够快速确认数据是否被篡改，类似于数据被打上一种“指纹”。
KZG承诺不仅仅是给数据做个简单的“记号”，它实际上是生成了一种数学上的加密指纹，这个指纹与数据内容密切相关，任何微小的篡改都会让指纹不再匹配。它不仅能标记数据的真实性，还可以帮助验证者确认数据是否完整。验证者不需要查看整个数据，只要验证承诺，就能知道数据是否被篡改。
举例
KZG承诺就像包裹上的防篡改封条，如果包裹中的内容有改变，则与封条就不再匹配（失效）。为区块链数据提供一个独特的加密标记，确保数据在传递过程中没有被篡改。验证者只需检查封条（KZG承诺）就能确认数据的真实性和完整性，而不需要查看完整的数据内容。
协同工作
DAS的三种核心机制 - 纠删码、采样验证和KZG承诺，通过相互配合，实现了高效、安全的数据验证，具体协同工作方式如下：
纠删码创建冗余，确保数据可恢复：分片数据首先通过纠删码生成冗余数据块，这样即使有部分数据块丢失或被隐藏，剩余的数据块也可以帮助恢复原始数据。这为DAS提供了坚实的基础。
采样验证降低节点负担：节点无需下载所有数据块，而是随机抽样验证少量数据块即可。如果多个节点分别抽样验证了数据块的不同部分，便可以通过这些节点的分布式验证，推测数据的完整性和可用性，从而确保整个分片数据是可用的。
KZG承诺提供快速真实性验证：节点在采样验证的过程中，通过KZG承诺来检查数据块的指纹，以确认这些数据块是否是完整的、未被篡改的。KZG承诺确保了数据的真实性，让采样验证更加高效和安全。
举个例子来总结
假设你和朋友们要一起检查一份重要的文档（例如100页的文件），而且不希望大家都去检查整份文档。通过以下方式完成任务：
创建冗余副本（纠删码）：将文档复印成多份，还制作了一些“额外页码”，这样即使某些页丢失，其他页也能帮助恢复完整的文档。
抽查一部分页（采样验证）：每人只需抽查几页，而不必检查整份文档。如果每个人检查的页码都没问题，大家可以推测这份文档是完整的。
验证每页的签名（KZG承诺）：每个页面都带有唯一的签名，你可以快速确认这些页是否被篡改。如果签名无误，则可以确保文档的真实性。
最终，通过这三种机制，大家可以在不检查完整文档的情况下确保文件的完整性、可用性和真实性。
DAS通过纠删码、采样验证和KZG承诺的结合，使区块链系统在分片数据的可用性上实现了高效、可靠的验证。这些机制协同工作，不仅确保了数据的完整性和真实性，还有效减少了节点的存储和计算负担，为区块链的扩展性提供了坚实的保障。
Last updated