Twitter消除了存储瓶颈，将Hadoop分析速度提高了50%

 
觉得跟上Twitter提要很难吗?想象一下跟踪所有Twitter。 “每条推文都包含100多个数据点，” Twitter负责服务器体系结构的高级硬件工程师Matt Singer说。来自每个转推，“取消关注”，链接单击和其他操作的数据将馈送给服务于运营和广告的分析和深度学习系统。和其他重要功能。每天不间断的活动超过1.5万亿次。
组织如何处理此类超大规模需求? Twitter依赖于世界上最大的Hadoop集群部署之一。开源的大数据分析软件可帮助公司产生业务见解，从而使其能够管理和发展其庞大的全球网络。为了提高其作为首要流信息服务的声誉，Twitter求助于英特尔，以通过最大限度地提高性能和削减不断上升的存储成本来帮助促进其增长。
两家公司合作发现了提高Hadoop性能和消除瓶颈的新方法。合作伙伴开发的开创性方法-在快速固态驱动器(SSD)上选择性地缓存和存储临时文件，并将处理器密度提高6倍-使Twitter的Hadoop运行时间缩短了50%，硬盘驱动器(HDD)存储减少了75%，降低了30%的总拥有成本，并为服务器集群提供了新的参考架构，可支持快速，稳定的增长。他们是如何做到的–接下来是什么。
驱动器速度慢=分析速度慢
辛格说：“硬盘一次只能做一件事情，就可以跟上快速的现代处理器。” “但是，当您同时向多个硬盘提供多项操作时，就会出现瓶颈。”这正是Twitter在商品级7,200 rpm驱动器上的Twitter关键Hadoop工作负载中发生的情况。
问题在于，多年来，硬盘驱动器变得越来越大，但并没有变得越来越快。
英特尔数据中心Optane存储部门副总裁兼总经理David Tuhy解释说：“每秒I / O(IOPS)并没有成比例地增加。” “每次将硬盘驱动器的大小增加一倍时，每千兆字节的IOPS都会相应地减少多达一半。因此，全球的存储速度每一代都在变慢。”
更多集群，更多问题
在Twitter等超大规模运营中，这些性能问题成倍增加：
该公司的典型Hadoop群集(群集的总数是机密的)具有多达10,000个节点和100PB的逻辑存储，分布在100,000个HDD中。
此外，每GB的IOPS缓慢的存储速度也限制了组织的体系结构和硬件选择。 Twitter一直在不断向其Hadoop集群添加成本更高的服务器和存储，但是却步履维艰。在此阶段，仅添加更多硬盘驱动器实际上会使瓶颈恶化。
因此，在2017年秋季，Twitter和英特尔工程师着手调查：如何在不增加成本的情况下提高Hadoop I / O性能?
解决方案：缓存，而不是现金
Twitter最初认为Hadoop的速度下降是由于数据量巨大。但是，在与Intel工程师讨论之后，他们决定使用Intel Cache Acceleration Software(Intel CAS)以及更大的缓存容量探索Hadoop磁盘子系统中的智能缓存。
这是一项创新举措。英特尔技术解决方案专家Juan Fernandez解释说：“没有人考虑使用缓存模型来尝试加速Hadoop。 “这不是缓存友好的工作负载。但是我们知道，如果我们可以将SSD缓存仅定位到Hadoop算法的瓶颈，这对于该过程至关重要。”
英特尔在亚利桑那州的一个数据中心中建立了一个九节点测试集群，推特使用英特尔最新的固态硬盘在其数据中心中创建了一个庞大的120节点实验集群，并开始了联合实验。共享工程工具箱中有用于合成基准测试的Terasort，用于重放代表性生产工作负载的Gridmix，以及用于系统配置的IntelVTuneTM放大器-平台配置文件。团队保持同步，通过电视会议定期进行协作。
突破
在2018年春季，一个突破性的想法：为什么不缓存所有实际的Hadoop数据，为什么不缓存一小部分关键路径工作数据(AKA元数据)呢? “硬盘驱动器可以处理大的顺序数据，但是我们在处理小而随机的数据时遇到了问题。” Singer解释说。 “但是，通过尝试缓存所有内容，需要的数据立即从缓存中弹出。我们需要找到一种更好的针对缓存的方法。”
因此，工程师开始寻找分析，分解和分割Hadoop元数据的新方法。他们的目标是找到最小，最热的过程并将其定向到SSD。最终，他们从YARN中选择了数据，YARN是Hadoop中的一种聚类算法，可帮助动态管理资源和安排任务。
令人兴奋的是，重新配置了测试群集，并使用智能数据缓存再次运行了测试。辛格回忆说：“那时候真是令人难以置信。”每个运行时基准都得到了显着改善，但令人惊讶的是，硬盘访问量下降了。
将硬盘驱动器减少75%
将临时数据从YARN进程移至快速的高密度Intel SSD后，很明显需要的硬盘更少。但是有几个?
Twitter数据中心中的标准Hadoop服务器具有12个驱动器。工程师抽出了三份，然后再次进行了基准测试。性能没有下降。所以他们又拉了三个。再次，性能稳定。然后再三个。 “现在我们只需要三个驱动器，就能获得相同的性能，” Singer说。 “我们知道我们已经将正确的工作负载转移到了SSD。那时我们的眼睛真的很大。”
但是，Twitter-Intel团队仍需要证明这是智能缓存与众不同。因此他们禁用了它，放回所有12个HDD，然后重新运行测试。当然，当工程师推出前三个驱动器时，基准测试花费了更长的时间。 “我们只能使用三个硬盘，而基准测试所需的时间却是原来的三倍半。这确实给了我们前进的信心。”
Hadoop服务器的新架构
在2019年春季，Twitter开始根据前一年探索的结果和计算来测试新的服务器设计。配置和验证证明，在Hadoop集群中从四核处理器到24核处理器(IntelXeon Gold 6262V)的运行时间增加了50%，这是一笔巨大的收益，当与快速的新SSD搭配使用时，将带来新的分析可能性。
今天，Twitter继续生产新架构的Hadoop群集并将其引入生产数据中心。该公司借此机会将典型的新配置从总存储容量的12 TB增加到48 TB。由于降低了每TB的成本，这些更大容量的磁盘是新集群提高成本效率的重要组成部分。”
Singer解释说，增加的存储容量扩展了SSD的速度性能改进。 “现在，我们可以增加对数据的保留时间。集群可以在更大的时间范围内进行分析，或者捕获有趣的新数据点。”
减少交通拥堵
对于Twitter而言，通过缓存，快速的Intel SSD和更多计算来提高Hadoop性能和成本效率已产生了巨大的收益。除了减少或卸下硬盘驱动器之外，该公司现在还可以以其他更有效的方式在现有系统上存储更多数据，并具有更多的空间和存储周期。
通过试验和协作，该公司已将其Hadoop集群的总体拥有成本削减了近三分之一。节省的大部分资金来自于每四个硬盘驱动器中就不需要安装三个硬盘驱动器，以及相关的机架空间，能源和维护成本。 “如果我们有四分之一的硬盘驱动器，那么我们将有大约四分之一的驱动器故障。这样就减少了中断，维护和丢失数据的风险。” Singer说。
本质上，新的Hadoop配置可防止流量阻塞。它们有助于确保访问共享群集和数据时，不同的工作负载和组不会延迟或相互碰撞。在当今的业务环境中，避免此类瓶颈并使处理接近更大量的“热”数据变得越来越重要。 Tuhy说：“高质量的数据分析，商业智能和快速交易是公司在Internet上赚钱的新方式。”
持续发展
Twitter团队将继续在几个关键领域与英特尔合作，包括在HDD，处理器线程和SSD方面实现最佳平衡。团队继续在英特尔开源缓存加速软件项目上进行创新。尽管SSD不会在许多应用中替代商用硬盘，但如果通过战略性地部署具有额外的CPU功能并选择性地对其进行缓存，则它们具有出色的性能和TCO(可满足关键工作负载的需求)，因此引人注目。
英特尔正在将Twitter合作中的知识，最佳实践以及新的缓存软件和分析工具引入云服务提供商，金融机构等。 Tuhy说：“ Twitter是一个完美的例子，但您不必为了获得Twitter规模而受益。 HDD驱动器的每GB IOPS问题是相同的。”
最佳做法：有选择性
重新架构和重新考虑缓存有助于Twitter在其Hadoop集群中找到新的效率。对于考虑采用这种新方法的组织，Twitter的Singer提供了一些建议。他强调测试的重要性，详细了解您的工作负载和数据流，并尝试不同的配置。而且，他警告说，不要将繁忙的硬盘设备与有效使用的设备混为一谈。
Singer得出结论：“最大的收获是选择性地将流和数据路由到SSD。 您不需要缓存所有内容。 选择性地识别可能会给您带来巨大的性能和运营收益。 这不是使用缓存的典型方式。 但这是一种生产者/消费者模型，效果很好。”