Orca：大数据模块化查询优化器编制架构
发布时间：2021-06-03 19:59:09 所属栏目：大数据 来源：互联网
导读：大数据系统的流行引起了人们对查询优化的新兴趣，因为新型的数据管理系统在前所未有的可扩展性，可用性和处理能力方面取得了突破，通过SQL或类似SQL的接口，可以轻松访问数百TB甚至PB的大型数据集进行分析。优秀的和平庸的优化器之间的差异一直是众所周知的[
|
大数据系统的流行引起了人们对查询优化的新兴趣，因为新型的数据管理系统在前所未有的可扩展性，可用性和处理能力方面取得了突破，通过SQL或类似SQL的接口，可以轻松访问数百TB甚至PB的大型数据集进行分析。优秀的和平庸的优化器之间的差异一直是众所周知的[。但是，这些系统必须处理的数据量越来越大，从而加剧了优化错误，并比以往任何时候都需要强调查询优化的重要性。
好的查询优化器在架构设计上需要考虑以下的几个方面：
模块化。使用元数据和系统描述的高度可扩展的抽象，不再局限于特定的主机系统，如传统的优化器。相反，可以通过数据支持的插件将其快速移植到其他数据管理系统。
可扩展性。通过将查询及其优化的所有元素表示为具有同等地位的一等公民，避免多阶段优化的陷阱，在此阶段，某些优化将在事后进行处理。众所周知，多阶段优化器难以扩展，因为新的优化或查询构造通常与先前设置的阶段边界不匹配。
支持多核架构。 系统需要部署一个高效的多核感知调度程序，该调度程序可在多个内核之间分配各个细粒度的优化子任务，以加快优化过程。
可验证性。有确定的特殊规定内置机制级别来保证正确性和性能。除了改善工程实践之外，这些工具还使人们能够高度自信地进行快速开发，并缩短了新功能和错误修复的周转时间。
性能。 查询的性能是我们最希望等到的结果
 （编辑：三门峡站长网） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |
