We use cookies to improve your experience with our site.

WATuning:一种基于注意力机制的深度强化学习的工作负载感知调优系统

WATuning: A Workload-Aware Tuning System with Attention-Based Deep Reinforcement Learning

  • 摘要: 配置调优对于优化存储系统(例如数据库、键值存储)的性能至关重要。高性能通常意味着高吞吐量和低延迟。目前,大多数系统的调优任务都是人工来完成的(例如,由DBA来完成)。但是在各种类型的存储系统和各种复杂环境中,专家们很难通过调优来实现高性能。近年来,自动调优在传统数据库系统中有一些研究,但这些方法都有一定的局限性。首先,基于规则的方法很难保证稳定的调优性能。其次,传统的机器学习方法要么依赖于以往高质量的调优经验和大量的训练样本,要么很难在有限的时间内找到更好的配置。最后,当前的强化学习方法也不能利用工作负载特性进行调优,这在实际应用环境中难以保证产生高性能配置。
    针对以上问题,本文的研究目标是提出一种基于注意深度强化学习的调优系统WATuning,该系统能够适应工作负载特性的变化,在实际情况中高效有效地优化系统性能。首先,本文设计了WATuning的核心算法——基于注意力机制的深度强化学习算法,来实现系统的调优任务。该算法利用工作负载特征生成权重矩阵并作用于系统的内部度量,深度强化学习网络利用内部度量分配的权重值来选择合适的配置。其次,WATuning可以生成多个实例模型,针对不同类型的工作负载完成有针对性的推荐服务。最后,在实际应用中,WATuning还可以根据不断变化的工作负载动态自微调。使其可以学习当前环境并推荐适合当前环境的配置。
    实验发现,WATuning利用工作负载的特性为系统推荐高性能旋钮的方法是正确的。在系统吞吐量性能方面,WATuning推荐的旋钮性能比默认旋钮高出200%,比DBA高出80%,比目前最佳调优系统CDBTune高出52%。同时,文中进行了许多维度的实验,结果都表明WATuning为各种工作负载下的系统提供了优秀的配置,极大地提高了系统吞吐量,并减少了延迟。WATuning优于当今最先进的调优方法。同时也表明了工作负载在调优过程中的重要性不容忽视。系统若想通过改变配置来提高性能,工作负载的特征一定扮演着重要角色。
    说明:该文件将放在JCST网站上免费下载,以及用于国内其它宣传渠道,其目的是便于我国读者能更快速地了解论文的研究内容和贡献,从而有助于论文工作的传播和引用。论文摘要应具有独立性和自明性,使得其读者不阅读全文,就能获得必要的信息,也就是说,摘要是一种可以被引用的完整短文。此处的中文摘要,是长摘要,相对于论文的abstract,更为详细,而不是简单的翻译。此外,也不是论文各章节内容的罗列。以下为建议的提纲,请参照撰写论文中文长摘要。另外需提供的论文的Highlight(英文),也按照此提纲撰写。谢谢!
    1、研究背景(context)。
    2、目的(Objective):准确描述该研究的目的,说明提出问题的缘由,表明研究的范围和重要性。
    3、方法(Method):简要说明研究课题的基本设计,结论是如何得到的。
    4、结果(Result&Findings):简要列出该研究的主要结果,有什么新发现,说明其价值和局限。叙述要具体、准确,尽量给出量化数据而不只是定性描述,并给出结果的置信值(如果有)。
    5、结论(Conclusions):简要地说明经验,论证取得的正确观点及理论价值或应用价值,是否还有与此有关的其它问题有待进一步研究,是否可推广应用,其应用价值如何?

     

    Abstract: Configuration tuning is essential to optimize the performance of systems (e.g., databases, key-value stores). High performance usually indicates high throughput and low latency. At present, most of the tuning tasks of systems are performed artificially (e.g., by database administrators), but it is hard for them to achieve high performance through tuning in various types of systems and in various environments. In recent years, there have been some studies on tuning traditional database systems, but all these methods have some limitations. In this article, we put forward a tuning system based on attention-based deep reinforcement learning named WATuning, which can adapt to the changes of workload characteristics and optimize the system performance efficiently and effectively. Firstly, we design the core algorithm named ATT-Tune for WATuning to achieve the tuning task of systems. The algorithm uses workload characteristics to generate a weight matrix and acts on the internal metrics of systems, and then ATT-Tune uses the internal metrics with weight values assigned to select the appropriate configuration. Secondly, WATuning can generate multiple instance models according to the change of the workload so that it can complete targeted recommendation services for different types of workloads. Finally, WATuning can also dynamically fine-tune itself according to the constantly changing workload in practical applications so that it can better fit to the actual environment to make recommendations. The experimental results show that the throughput and the latency of WATuning are improved by 52.6% and decreased by 31%, respectively, compared with the throughput and the latency of CDBTune which is an existing optimal tuning method.

     

/

返回文章
返回