云存储性能：可用性和持久性之间的差异

云存储性能：可用性和持久性之间的差异
本文是关于边缘计算主题的系列文章的一部分，该系列文章是在英特尔的资助下实现的。此保险完全独立，英特尔没有就如何报告或撰写本文提供任何意见。
当你转动车内点火钥匙，将设备插入墙上插座，或双击存储在硬盘上的文件时，你就会知道接下来会发生什么。这些东西才有用。但是在云中，您的宝贵文件在别人的手中。你确定每次都可以依靠结果吗?
在将缰绳移交给对象存储之前，您的潜在云存储提供商应该回答几个问题。您能否确定您的业务所依赖的IT基础受到良好保护?您的数据意外泄露的可能性有多大?
耐用性：非常好，几乎是学术性的
硬盘死机，在装有硬盘的数据中心中，它们经常死机。根据云存储提供商Backblaze最新发布的硬盘统计数据，其201,410个磁盘中有474个在2019年第二季度失败 – 年化失败率为1.8%。但这些失败都不会影响客户，因为耐用性或数据的健康状况对于像Backblaze，Microsoft，Amazon和Google这样的公司来说至关重要。他们采取极端措施来防止托管文件丢失或损坏。
每个主要的云服务提供商都使用称为擦除编码的前向纠错技术，该技术将文件分解为多个部分。然后，它会计算在任何原件丢失的情况下用于重建文件的其他奇偶校验块。根据Backblaze市场营销副总裁Ahin Thomas的说法，该公司基于Reed-Solomon的Java库将每个文件分成17个分片，然后计算另外三个分段以保持奇偶校验。然后，这些分片分布在20个不同的驱动器上。
“在任何特定时刻，我们都可能失去三个硬盘，一切都还好，”托马斯说。 “那么问题是，你能否在失去第四个之前更换并重建你丢失的三个驱动器?”
Facebook还在其冷存储架上使用Reed-Solomon擦除编码，而Microsoft Azure存储有自己的本地重建代码，据称可以减少重建所需的擦除编码片段的数量。
通过硬盘故障率统计，对给定云提供商的擦除编码体系结构的深入了解，以及在故障后重建需要多长时间的一般概念，我们可以使用一些复杂的数学计算数据持久性。然而，云服务(Backblaze除外)通常不会共享该信息，因此我们只能依靠百分比反映的持久性声明。在9个方面看到耐用性的情况并不少见 – 在微软的地理冗余Azure存储计划中，最多16个。我们看到的11-9数字通常转化为99.999999999%的耐久性。在那个层面上，关于一个额外九个甚至更少九个的争论从实际转向学术。
“任何云服务丢失数据的可能性都非常低，”Backblaze的托马斯继续说道。 “更有可能的是，您的信用卡存在问题，而且您没有查看电子邮件，也没有收到帐户通知。”
事实上，下个世纪地球受到危险小行星撞击的可能性要大于主要云提供商的随机数据损失。重点是提供商知道他们的硬件最终会失败，并且他们的设计考虑到了失败。在任何严肃的云存储供应商，您的数据的持久性几乎都得到保证。
但请注意，耐久性计算不会考虑人为因素。通过错误的代码行引入错误可能会擦除整个系统。武装冲突可能导致数据中心的丢失。或者，一系列自然灾害理论上可能影响多个数据中心位置，这些位置使您的文件在地理上分布。这些都是持久性计算范围之外的因素，这就是IT经理需要考虑它们的原因。
“我们最大的客户之一是一家基因组公司，它在现场保存其数据副本，在东海岸的[亚马逊] S3中保​​留一份副本，在西海岸的[Backblaze] B2中保留一份副本，”Backblaze的托马斯说。 。 “通过这样做，他们实现了供应商和地理多样性。”
无论您引用的耐久性规格如何，保留三份重要数据都是最佳做法。虽然大多数组织都达不到这个理想，但CIO和家庭用户都应该考虑影响耐久性的所有变量。
你需要的时候你的文件会在那里吗?
因此，轻松了解您的数据在云中是安全的。但是，您是否有同样的保证，您可以随时访问它?尽管现代数据中心可以接近无处不在的正常运行时间，但并非如此。 “可用性”量化了数据可访问的时间。它不会考虑影响您与云存储提供商的连接的任何其他变量，例如您的ISP问题，网络硬件故障或断电。然而它仍然比耐久性规格低得多。可用性保证99%，99.9%或99.99%是常见的，允许偶尔进行数据中心维护。
您所需的可用性级别取决于您对数据的处理以及您愿意支付的费用。在99%的情况下，您每年最多可以接受3.65天的停机时间。繁忙的电子商务网站不会容忍那些销售损失。添加九(99.9%)会使您每年不可用8.75小时，而99.99%将停机时间限制在同一时间间隔内约53分钟。
云服务提供商在其服务级别协议(SLA)中发布并保证可用性。如果供应商表现不如此承诺，它可以以适用于下个月账单的服务信用额的形式退还一定比例的费用。通常，这些都是分层的，以便在服务滑倒时变得更具侵略性。例如，如果您的每月正常运行时间介于99.9%和99.0%之间，则亚马逊的S3标准对象存储类(设计用于99.99%的可用性)可以获得10%的服务信用百分比。如果您的可用性低于99.0%但在给定月份的可用性超过95.0%，则会增加到25%。如果服务降至95%以下，它会增加100%的积分。
当然，你不是为了学分。您希望提供商满足其SLA中规定的可用性。该协议只是说明供应商对其交付能力的信心。
它必须是全部还是全部?
并非总是需要购买最佳可用性或防故障耐久性。云存储已经发展到可以指定存储类，即时确定每月可用性，或缩减可以使用少于11个9的非关键数据的持久性的程度。
Google云端存储可以分为标准版，近线版和冷线版存储类。 Standard适用于短时间内存储的频繁访问(或“热”)数据。该公司可让您进一步深入挖掘并定义单区域，双区域或多区域，以微调性能和地理冗余。当然，将数据存储在不同的位置并不奇怪，Google可以灵活地将其SLA从99.0%提高到99.95%，典型的每月可用性大于99.99%。对于计划每月或更少读取或修改一次的数据(如备份，存档和长尾多媒体内容)，近线存储更为合适。同时，冷线存储被描述为由于法律或监管原因以及灾难恢复而持有的不常访问的数据。 Coldline的成本要低得多，但它的可用性略低，最低存储时间为90天，并且会产生数据访问成本。
亚马逊的简单存储服务(S3)拥有自己的存储类范围，可以满足不同的用例。在标准的一端，S3 Standard为频繁访问的数据提供高耐用性，可用性和性能。另一方面，S3 One Zone-Infrequent Access(IA)减少了地理冗余，并提供了大量的存储费折扣，但在数据检索方面的价格更高.
亚马逊，谷歌和微软为配置定制的云存储解决方案提供了充分的灵活性，这些解决方案既好又有挑战性。在构建基于存储，请求，管理，传输，加速和跨区域复制的服务时，很容易在解析同样复杂的定价表时迷失方向。像Backblaze这样的提供商比任何三大提供商都更简单，更实惠，只要您正在寻找具有11个耐用性和99.9%可用性的纯云存储游戏。当您进入更多计算密集型工作负载或毫秒级灾难恢复点时，探索可能更适合边缘计算，高端AI或机器学习的对象存储之外的服务是有意义的。
通过牢固掌握耐用性和可用性的概念，可以更轻松地信任云存储提供商提供的服务。与保护其最有价值的文件一样，减少与内部部署存储相关的设备，维护，电源和人员成本可能是节省组织资金的关键。