Presto架构、源码分析专栏.md

Presto架构、源码分析专栏

一、原理、架构

• Presto概述：特性、原理、架构 2020-10
• 分布式SQL查询引擎Presto原理介绍 2017-12
• 深入理解Presto 2020-01
• 分布式SQL查询引擎原理（以Presto SQL为例） 2020-11
• 深入理解Presto,Presto的内部架构 2020-08
• Presto 分布式SQL查询引擎及原理分析 2020-05

二、源码分析

2.1 前期准备

• 如何快速掌握Presto源码：思路和经验 2020-10
• Presto 源码阅读： Overview 2018-12
• Presto的一些基本概念 2018-08
• Presto/Trino权威指南及官方设计文档解读 2021-05

2.2 数据类型、Query Execution Model

• Presto类型系统初探 2019-01
• Presto源码分析之数据类型 2018-12
• Presto Core Data Structures: Slice, Block & Page 2019-03
• Presto源码分析之Slice 2018-12
• Presto Driver,Split and Pipeline 2017-05

2.3 SQL解析、执行计划生成与优化

• Presto 源码分析：Coordinator 篇 2019-12
• Presto SQL Parser源码分析 2019-02
• Presto 源码阅读：Optimizers 2019-01
• Presto逻辑执行计划生成 2019-02
• Presto源码分析之IterativeOptimizer 2018-12
• Presto源码分析之模式匹配 2018-12
• Presto技术源码解析总结-一个SQL的奇幻之旅 上 2019-04
• Presto技术源码解析总结-一个SQL的奇幻之旅 下 2019-04
• Presto查询执行过程和索引条件下推分析 2020-05

2.4 分布式任务调度、split生成与调度策略、worker选择策略

• Presto运行时浅析 2021-01
• Presto源码阅读——如何获取Hive中的Metadata(HMS+HDFS) 2018-07
• Presto如何构建和使用海量Hive Splits 2021-01
• Presto之Task执行框架 2019-01
• Presto 是如何 schedule task 的? 2019-03
• Presto 由Stage到Task的旅程 2019-01
• Presto调度task选择Worker方法 2020-04
• presto中的AllAtOnce与Phased 2019-05
• Presto 任务调度： 任务分配到哪里 2020-05
• Presto Split 详解

2.5 常用Operator分析、常用SQL底层实现原理

• Window函数与WindowOperator源码解析 2019-03
• Presto中coalesce函数的实现与Expression Codegen 2019-04
• Presto Limit 类算子分析 2019-04
• Presto分页功能概述 2019-02

join、shuffle

• Presto 数据如何进行shuffle 2019-04
• Presto中的Hash Join 2019-03

分组聚合

• Presto中的分组聚合查询流程 2019-01
• 深入理解Presto中的Group By查询 2019-09

2.6 Function、UDF

2.7 Connector机制、常用Connector分析

• ORC & Presto 2020-02
• Presto ORC及其性能优化 2019-09
• Presto Hive MetaStore相关代码分析 2020-02
• Presto Connector之SystemTable 2019-03
• 如何让Presto可以连接Hbase？文中含Hbase-Connect开发详解 2018-11

2.8 其他

• Presto源码分析之TupleDomain 2018-12
• Presto的缓存机制 2020-08
• Presto Caching 2020-06
• Presto Codegen简介与优化尝试 2018-12
• Presto Procedure 2019-03
• How is data inserted into Presto? 2019-03
• Presto兼容Hive SQL的一些改造工作 2019-03
• Presto Coordinator分布式改造 2019-11
• Visualize Execution Plan in Presto 2019-09
• Presto兼容Hive隐式类型转换 2021-02
• Presto 标量函数注册和调用过程简述 2020-09
• Presto 函数实现简述 2020-07
• Improved Hive Bucketing

三、相关论文

• 官方论文《Presto: SQL on everything》 中文翻译
• 《F1 Query: Declarative Querying at Scale》读后感 2018-12
• 《Column-Stores vs. Row-Stores》读后感 2019-01 abei-知乎
• 读后感之《Column-Stores vs. Row-Stores》 2019-01 萌豆-知乎
• Wander Join:Online Aggregation via Random Walks读后感 2020-03
• 《The Snowflake Elastic Data Warehouse》读后感 2019-01