- 浏览: 225351 次
- 性别:
- 来自: 北京
文章分类
最新评论
-
chenxliang:
2016年10月26、27日,上海浦东,Postgres中国用 ...
PostgreSQL的用户、角色和权限管理 -
gejiod:
最近出了SQL:2011標準,希望樓主也更新下
SQL2008标准 -
lincon77:
太长了,又是E文,要是有些例子可能好理解些
SQL2003标准 -
少主丶无翼:
很谢,找了很久
SQL2003标准 -
zeeeitch:
...
PostgreSQL启动过程中的那些事七:初始化共享内存和信号二十:shmem中初始化堆同步扫描、pg子进程相关结构
话说 查询“ select cname, comp from test1, test2 where test1.id=test2.id; ” 发送到服务器端, 走查询分支 exec_simple_query ,先调用 start_xact_command 初始化了事务管理相关对象和资源,接着调用 pg_parse_query ,通过 Lex 和 Yacc 对传入 SQL 语句进行词法语法解析,生成解析树。下来调用 GetTransactionSnapshot 方法做内存快照,然后调用 pg_analyze_and_rewrite 方法,进行语义分析把 parsetree 转换成 querytree ,然后对该 querytree 进行重写。接着调用 pg_plan_queries 方法,根据 querytree 做查询 规划,生成查询计划树 plantree 。
1
下面是对 querytree 进行优化并生成 plantree 的调用序列图。
Postgres 服务进程简查之查询规划调用序列图
上图红色方框中显示了 pg_plan_queries 方法对 querytree 做查询 规划,生成查询计划树 plantree 的方法调用过程,大致上处理步骤是提升子连接和子查询、生成最优查询路径、生成执行计划。
在 subquery_planner 方法里都有方法 pull_up_sublinks 提升子连接,调用方法 pull_up_subqueries 提升子查询,目的是尽量合并父查询和子查询中的 WHERE 子句里的条件,尽量在做最耗费时间的表连接操作之前,先用约束条件把涉及到的元组数目缩到最小。接着处理表达式等,都是和前面同样的目的。
还有其中的方法 inline_set_returning_functions 内联返回函数、方法 preprocess_rowmarks 预处理行标记、方法 expand_inherited_tables 扩展集成表、方法 preprocess_expression 预处理表达式、方法 reduce_outer_joins 尽量减少外连接。
接着调用方法 grouping_planner 做规划处理,规划处理主要是生成路径,路径就是告诉执行器如何取到要操作的元组,这些元组可以来自一个表,也可以来自多个表,对于多个表,是按两两逐个连接完成,即 转化成多个两表连接查询 。举个例子,如一个查询涉及三个表 A 、 B 、 C 的连接,处理时可以先 A 、 B 连接生成结果 D ,再 D 、 C 连接得到目标结果集。这样连接的顺序就有多种,就产生了多个路径。方法 query_planner 生成了这些路径。然后评估代价,找出最优路径,把和最优路径对应的执行计划树 plantree 返回。 Pg 里面的代价估算采用基于成本的代价估算,本节后面会简单讨论一下这个估算方法。
这个过程涉及连接算法( Hash Join 、 Nested Loop 、 Merge Join )、扫描算法( Seq Scan 、 Index Scan 、 Bitmap Scan )、分组算法( HashAggregate 、 GroupAggregate )、排序算法等算法的选择。
这部分内容涉及到结构和处理及代码量比上节只多不少,在这就不列举了,有兴趣的根据方法调用流程图看源码吧,下面给出处理完的结果 plantree 结构图。
例子里查询语句对应的 plantree 结构图
把这个例子再重复一下:
create table test1 (ID numeric(10), cname varchar(30));
create table test2 (ID numeric(10), comp varchar(30));
select cname,comp from test1,test2 where test1.id=test2.id;
上面的图《例子里查询语句对应的 plantree 结构图》就是 SQL 语句“ select cname,comp from test1,test2 where test1.id=test2.id ”在 pg 里产生的 plantree 。
pg 输出的 querytree 如下:
2011-11-23 06:57:39 HKT LOG: plan:
2011-11-23 06:57:39 HKT DETAIL: {PLANNEDSTMT
:commandType 1
:hasReturning false
:hasModifyingCTE false
:canSetTag true
:transientPlan false
:planTree
{HASHJOIN
:startup_cost 24.63
:total_cost 116.69
:plan_rows 2113
:plan_width 156
:targetlist (
{TARGETENTRY
:expr
{VAR
:varno 65001
:varattno 2
:vartype 1043
:vartypmod 34
:varcollid 100
:varlevelsup 0
:varnoold 1
:varoattno 2
:location 7
}
:resno 1
:resname cname
:ressortgroupref 0
:resorigtbl 16394
:resorigcol 2
:resjunk false
}
{TARGETENTRY
:expr
{VAR
:varno 65000
:varattno 1
:vartype 1043
:vartypmod 34
:varcollid 100
:varlevelsup 0
:varnoold 2
:varoattno 2
:location 13
}
:resno 2
:resname comp
:ressortgroupref 0
:resorigtbl 16397
:resorigcol 2
:resjunk false
}
)
:qual <>
:lefttree
{SEQSCAN
:startup_cost 0.00
:total_cost 16.50
:plan_rows 650
:plan_width 94
:targetlist (
{TARGETENTRY
:expr
{VAR
:varno 1
:varattno 1
:vartype 1700
:vartypmod 655364
:varcollid 0
:varlevelsup 0
:varnoold 1
:varoattno 1
:location -1
}
:resno 1
:resname <>
:ressortgroupref 0
:resorigtbl 0
:resorigcol 0
:resjunk false
}
{TARGETENTRY
:expr
{VAR
:varno 1
:varattno 2
:vartype 1043
:vartypmod 34
:varcollid 100
:varlevelsup 0
:varnoold 1
:varoattno 2
:location -1
}
:resno 2
:resname <>
:ressortgroupref 0
:resorigtbl 0
:resorigcol 0
:resjunk false
}
)
:qual <>
:lefttree <>
:righttree <>
:initPlan <>
:extParam (b)
:allParam (b)
:scanrelid 1
}
:righttree
{HASH
:startup_cost 16.50
:total_cost 16.50
:plan_rows 650
:plan_width 94
:targetlist (
{TARGETENTRY
:expr
{VAR
:varno 65001
:varattno 1
:vartype 1043
:vartypmod 34
:varcollid 100
:varlevelsup 0
:varnoold 2
:varoattno 2
:location -1
}
:resno 1
:resname <>
:ressortgroupref 0
:resorigtbl 0
:resorigcol 0
:resjunk false
}
{TARGETENTRY
:expr
{VAR
:varno 65001
:varattno 2
:vartype 1700
:vartypmod 655364
:varcollid 0
:varlevelsup 0
:varnoold 2
:varoattno 1
:location -1
}
:resno 2
:resname <>
:ressortgroupref 0
:resorigtbl 0
:resorigcol 0
:resjunk false
}
)
:qual <>
:lefttree
{SEQSCAN
:startup_cost 0.00
:total_cost 16.50
:plan_rows 650
:plan_width 94
:targetlist (
{TARGETENTRY
:expr
{VAR
:varno 2
:varattno 2
:vartype 1043
:vartypmod 34
:varcollid 100
:varlevelsup 0
:varnoold 2
:varoattno 2
:location 13
}
:resno 1
:resname <>
:ressortgroupref 0
:resorigtbl 0
:resorigcol 0
:resjunk false
}
{TARGETENTRY
:expr
{VAR
:varno 2
:varattno 1
:vartype 1700
:vartypmod 655364
:varcollid 0
:varlevelsup 0
:varnoold 2
:varoattno 1
:location 50
}
:resno 2
:resname <>
:ressortgroupref 0
:resorigtbl 0
:resorigcol 0
:resjunk false
}
)
:qual <>
:lefttree <>
:righttree <>
:initPlan <>
:extParam (b)
:allParam (b)
:scanrelid 2
}
:righttree <>
:initPlan <>
:extParam (b)
:allParam (b)
:skewTable 16394
:skewColumn 1
:skewInherit false
:skewColType 1700
:skewColTypmod 655364
}
:initPlan <>
:extParam (b)
:allParam (b)
:jointype 0
:joinqual <>
:hashclauses (
{OPEXPR
:opno 1752
:opfuncid 1718
:opresulttype 16
:opretset false
:opcollid 0
:inputcollid 0
:args (
{VAR
:varno 65001
:varattno 1
:vartype 1700
:vartypmod 655364
:varcollid 0
:varlevelsup 0
:varnoold 1
:varoattno 1
:location 41
}
{VAR
:varno 65000
:varattno 2
:vartype 1700
:vartypmod 655364
:varcollid 0
:varlevelsup 0
:varnoold 2
:varoattno 1
:location 50
}
)
:location -1
}
)
}
:rtable (
{RTE
:alias <>
:eref
{ALIAS
:aliasname test1
:colnames ("id" "cname")
}
:rtekind 0
:relid 16394
:relkind r
:inh false
:inFromCl true
:requiredPerms 2
:checkAsUser 0
:selectedCols (b 9 10)
:modifiedCols (b)
}
{RTE
:alias <>
:eref
{ALIAS
:aliasname test2
:colnames ("id" "comp")
}
:rtekind 0
:relid 16397
:relkind r
:inh false
:inFromCl true
:requiredPerms 2
:checkAsUser 0
:selectedCols (b 9 10)
:modifiedCols (b)
}
)
:resultRelations <>
:utilityStmt <>
:intoClause <>
:subplans <>
:rewindPlanIDs (b)
:rowMarks <>
:relationOids (o 16394 16397)
:invalItems <>
:nParamExec 0
}
2
规划器为每个 SQL 的不同执行计划进行基于成本的代价估算, 查询的总代价包括读取数据的 IO 代价加上各种操作的代价之和, IO 代价包括顺序读取数据或索引页( seq_scan_cost )和随机读取数据页( random_scan_cost )的代价,操作代价包括处理表元组( cpu_tuple_cost )、处理比较操作( cpu_operator_cost )和处理索引元组( cpu_index_tuple_cost ),因此,如果在一个表上做全表顺序扫描并执行过滤,其代价是:
Cost = seq_scan_cost*relpages + cpu_tuple_cost*reltuples + cpu_operator_cost*reltuples
其中 relpages 、 reltuples 是系统表 pg_class 里的字段, seq_scan_cost 、 cpu_tuple_cost 、 cpu_operator_cost 是影响成本计算的参数,这些参数包括 cpu_index_tuple_cost (0.005) 、 cpu_operator_cost (0.0025) 、 cpu_tuple_cost (0.01) 、 random_page_cost (4.0) 、 seq_page_cost (1.0) , 参数后面括号里的是默认值,这些参数值可以根据情况改变。 传统上,它们以抓取顺序页的成本作为基准单位,也就是将 seq_page_cost 设为 1.0 ,同时其它参数是对照它来设置的。
就到这儿吧。
------------
转载请注明出处,来自博客:
blog.csdn.net/beiigang
beigang.iteye.com
发表评论
-
PostgreSQL服务过程中的那些事三:pg服务进程中的内存上下文
2012-12-31 15:07 1971题外话:年底了,就以这篇博文结束2012 ... -
PostgreSQL服务过程中的那些事二:Pg服务进程处理简单查询六:执行器执行
2012-11-07 20:13 1771话说 查询“ select c ... -
PostgreSQL服务过程中的那些事二:Pg服务进程处理简单查询四:分析重写成querytree
2012-10-24 19:27 1361话说 查询“ select cname, comp ... -
postgresql 小技巧
2012-10-16 19:36 1298Note : #PostgreSQL and ... -
PostgreSQL服务过程中的那些事二:Pg服务进程处理简单查询三:获取内存快照
2012-10-16 19:31 1717话说 查询“ select cname, comp ... -
PostgreSQL服务过程中的那些事二:Pg服务进程处理简单查询二:SQL解析为parsetree
2012-10-09 19:50 1468话说 查询“ select cname, comp fr ... -
PostgreSQL服务过程中的那些事二:Pg服务进程处理简单查询一:开启事务
2012-09-25 19:55 1805在《 PostgreSQL 服务过程中的那些事二: ... -
PostgreSQL服务过程中的那些事一:启动postgres服务进程一.八:加载DB基础设施,完成服务进程初始化
2012-09-18 21:02 1724话说调用 InitPostgres ... -
PostgreSQL服务过程中的那些事一:启动postgres服务进程一.七:初始化portal管理环境
2012-09-11 19:58 1586话说调用 In ... -
PostgreSQL服务过程中的那些事一:启动postgres服务进程一.六:初始化系统表缓存catcache
2012-09-04 20:51 1795话说调用 InitPostgres ... -
PostgreSQL服务过程中的那些事一:启动postgres服务进程一.五:初始化relcache管理环境
2012-08-28 20:47 1255话说调用 InitPostgres ... -
PostgreSQL服务过程中的那些事一:启动postgres服务进程三:初始化relcache管理环境
2012-08-28 20:46 0<!-- [if gte mso 9]><x ... -
PostgreSQL服务过程中的那些事二:Pg服务进程处理简单查询梗概
2012-08-21 21:04 1197话说客户端发起请求, pg 服务器为该请求启动一个 ... -
PostgreSQL服务过程中的那些事一:启动postgres服务进程二:建立连接完成
2012-08-13 18:50 15243 这节主要讨论 pg 服务进程 pos ... -
PostgreSQL服务过程中的那些事一:启动postgres服务进程一
2012-08-08 14:42 5627到pg 服务进程了,打算搞一个完整但简单的查询例子,从 ... -
PostgreSQL启动过程中的那些事十九:walwriter进程二
2012-08-03 16:53 13233 这节主要讨论 walwrit ... -
PostgreSQL启动过程中的那些事十九:walwriter进程一
2012-08-01 17:26 1522话说 main()->Po ... -
PostgreSQL启动过程中的那些事十八:bgwriter进程二
2012-07-27 07:25 13843 这节主要讨论 bgwr ... -
PostgreSQL启动过程中的那些事十八:bgwriter进程一
2012-07-23 20:18 1544话说 main()->Postm ... -
PostgreSQL启动过程中的那些事十六:启动进程三:CheckPointGuts刷出共享内存里所有数据
2012-07-12 16:24 1423话说启动进程调用 Startup ...
相关推荐
三、 pg_attrdef: pg_attrdef: pg_attrdef:pg_attrdef:pg_attrdef:pg_attrdef:pg_attrdef:pg_attrdef:pg_attrdef: . 63 四、 pg_authid: pg_authid: pg_authid: pg_authid:pg_authid: 64 五、 pg_auth_members: pg_...
中文手册介绍了如何使用pgAdmin维护PostgreSQL数据库。 pgAdmin支持数据库服务器7.3及以上版本。 对于低于7.3版本的请使用pgAdmin II。
查询sql的死锁进程,查找并杀死。解决生产数据库中卡死的现象。postgresql查询死锁以及杀死死锁进程sql
PostgreSQL技术内幕:事务处理深度探索.docx
NULL 博文链接:https://haige18.iteye.com/blog/1746527
一、服务器进程的启动和关闭: 下面是pg_ctl命令的使用方法和常用选项,需要指出的是,该命令是postgres命令的封装体,因此在使用上比直接使用postgres更加方便。 代码如下: pg_ctl init[db] [-D DATADIR] [-s]...
赠送jar包:postgresql-42.3.1.jar; 赠送原API文档:postgresql-42.3.1-javadoc.jar; 赠送源代码:postgresql-42.3.1-sources.jar; 赠送Maven依赖信息文件:postgresql-42.3.1.pom; 包含翻译后的API文档:...
postgresql &pg源码安装编译教程
赠送jar包:postgresql-42.2.5.jar; 赠送原API文档:postgresql-42.2.5-javadoc.jar; 赠送源代码:postgresql-42.2.5-sources.jar; 赠送Maven依赖信息文件:postgresql-42.2.5.pom; 包含翻译后的API文档:...
嵌入式postgresql服务器为在unittests中运行postgres二进制文件提供了一种与平台无关的方法。
postgresql数据库jdbc驱动,jar包。。。。。。。。。。。。
SQL Server 2000链接服务器到PostgreSQL
1.nacos服务,适配postgresql数据库。 2.提供nacos,postgresql的创建nacos数据库脚本。 3.nacos/conf/nacos-pg.sql数据库脚本文件。 4.nacos版本1.4.2。
存储过程 postgresql postgresql存储过程
PostgreSQL中国社区资深数据库专家、沃趣科技首席数据库架构师撰写,PostgreSQL数据库领域经典著作 系统讲解PostgreSQL技术内幕,深入分析PostgreSQL特色功能,包含大量来自实际生产环境的经典案例和经验总结 ...
linux搭建postgresql、postgis、pg_pathman环境步骤以及需要的软件包
关于PostGreSQL中的存储过程 PostGreSQL是一个开源的数据库
PostgreSQL9.6.0-CN中文指南 PG DBA必备
何为 PostgreSQL? PostgreSQL 简史 格式约定 更多信息 臭虫汇报指导 I. 教程 1. 从头开始 2. SQL 语言 3. 高级特性 II. SQL 语言 4. SQL 语法 5. 数据定义 6. 数据操作 7. 查询 8. 数据类型 9. ...
PostgreSQL客户端,pgadmin3,安装后,配置连接,便可使用