<td id="cl7yg"></td>

        <code id="cl7yg"></code>

          天极传媒£º
          天极网
          比特网
          IT专家网
          52PK游戏网
          极客修
          全国分站

          北京上海广州深港南京福建沈阳成都杭州西安长春重庆大庆?#25103;?/a>惠州青岛郑州泰州厦门淄博天津无锡哈尔滨

          产品
          • 网页
          • 产品
          • 图片
          • 报价
          • 下载
          全高清投影机 净化器 4K电视曲面电视小家电滚筒洗衣机
          您现在的位置£º 天极网 > 开发>新闻>优化临时表 SQL语句性能提升100倍

          优化临时表使用 SQL语句性能提升100倍

          论坛 2013-09-27 09:49 我要吐槽

          ¡¡¡¡¡¾问题现象¡¿

          ¡¡¡¡线上mysql数据库爆出一个慢查询£¬DBA观察发现£¬查询时服务器IO飙升£¬IO占用率达到100%£¬ 执行时间长达7s左右¡£

          ¡¡¡¡SQL语句如下£º

          ¡¡¡¡SELECT DISTINCT g.*, cp.name AS cp_name, c.name AS category_name, t.name AS type_name FROM gm_game g LEFT JOIN gm_cp cp ON cp.id = g.cp_id AND cp.deleted = 0 LEFT JOIN gm_category c ON c.id = g.category_id AND c.deleted = 0 LEFT JOIN gm_type t ON t.id = g.type_id AND t.deleted = 0 WHERE g.deleted = 0 ORDER BY g.modify_time DESC LIMIT 20 ;

          ¡¡¡¡¡¾问题分析¡¿

          ¡¡¡¡使用explain查看执行?#33529;®£?#32467;果如下£º

          slow

          ¡¡¡¡这条sql语句的问题其实还是比?#21414;?#26174;的£º

          ¡¡¡¡查询了大量数据(包括数据条数¡¢以及g.* )£¬然后使用临时表order by£¬但最终又只返回了20条数据¡£

          ¡¡¡¡DBA观察到的IO高£¬是因为sql语句生成了一个巨大的临时表£¬内存放不下£¬于是全部拷贝到磁盘£¬导致IO飙升¡£

          ¡¡¡¡¡¾优化方案¡¿

          ¡¡¡¡优化的总体思?#32933;?#25286;分sql£¬将排序操作和查询所?#34892;?/a>息的操作分开¡£

          ¡¡¡¡第一条语句£º查询符合条件的数据£¬只需要查询g.id即可

          ¡¡¡¡SELECT DISTINCT g.id FROM gm_game g LEFT JOIN gm_cp cp ON cp.id = g.cp_id AND cp.deleted = 0 LEFT JOIN gm_category c ON c.id = g.category_id AND c.deleted = 0 LEFT JOIN gm_type t ON t.id = g.type_id AND t.deleted = 0 WHERE g.deleted = 0 ORDER BY g.modify_time DESC LIMIT 20 ;

          ¡¡¡¡第二条语句£º查询符合条件?#21335;?#32454;数据£¬将第一条sql的结果使用in操作拼接到第二条的sql

          ¡¡¡¡SELECT DISTINCT g.*, cp.name AS cp_name,c.name AS category_name,t.name AS type_name FROM gm_game g LEFT JOIN gm_cp cp ON cp.id = g.cp_id AND cp.deleted = 0 LEFT JOIN gm_category c ON c.id = g.category_id AND c.deleted = 0 LEFT JOIN gm_type t ON t.id = g.type_id AND t.deleted = 0 WHERE g.deleted = 0 and g.id in(¡­¡­¡­¡­¡­¡­¡­) ORDER BY g.modify_time DESC ;

          ¡¡¡¡¡¾实测效果¡¿

          ¡¡¡¡在SATA机器上测试£¬优化前大约需要50s£¬优化后第一条0.3s£¬第二条0.1s£¬优化后执行速度是原来的100倍以上£¬IO从100%降到不到1%

          ¡¡¡¡在SSD机器上测试£¬优化前大约需要7s£¬优化后第一条0.3s£¬第二条0.1s£¬优化后执行速度是原来的10倍以上£¬IO从100%降到不到1%

          ¡¡¡¡可以看出£¬优化前磁盘io是性能瓶颈£¬SSD的速度要比SATA明显要快£¬优化后磁盘不再是瓶颈£¬SSD和SATA性能没有差别¡£

          ¡¡¡¡¡¾理论分析¡¿

          ¡¡¡¡MySQL在执行SQL查询时可能会用到临时表£¬一般情况下£¬用到临时表就意味着性能较低¡£

          ¡¡¡¡临时表存储

          ¡¡¡¡MySQL临时表分为¡°内存临时表¡±和¡°磁盘临时表?#20445;?#20854;中内存临时表使用MySQL的MEMORY存储引擎£¬磁盘临时表使用MySQL的MyISAM存储引擎;

          ¡¡¡¡一般情况下£¬MySQL会先创建内存临时表£¬但内存临时表超过配置指定的?#23707;ó£¬MySQL会将内存临时表导出到磁盘临时表;

          ¡¡¡¡Linux平台上缺省是/tmp目录£¬/tmp目录小?#21335;低?#35201;注意啦¡£

          ¡¡¡¡使用临时表的场景

          ¡¡¡¡1)ORDER BY子句和GROUP BY子句不同£¬ 例如£ºORDERY BY price GROUP BY name;

          ¡¡¡¡2)在JOIN查询中£¬ORDER BY或者GROUP BY使用了不是第一个表的列 例如£ºSELECT * from TableA, TableB ORDER BY TableA.price GROUP by TableB.name

          ¡¡¡¡3)ORDER BY中使用了DISTINCT关键字 ORDERY BY DISTINCT(price)

          ¡¡¡¡4)SELECT语句中指定了SQL_SMALL_RESULT关键字 SQL_SMALL_RESULT的意思就是告诉MySQL£¬结果会很小£¬请直接使用内存临时表£¬不需要使用索引排序 SQL_SMALL_RESULT必须和GROUP BY¡¢DISTINCT或DISTINCTROW一起使用 一般情况下£¬我们没有必要使用这个选项£¬让MySQL服务器选择即可¡£

          ¡¡¡¡直接使用磁盘临时表的场景

          ¡¡¡¡1)表包含TEXT或者BLOB列;

          ¡¡¡¡2)GROUP BY 或者 DISTINCT 子句中包含长度大于512字节的列;

          ¡¡¡¡3)使用UNION或者UNION ALL时£¬SELECT子句中包含大于512字节的列;

          ¡¡¡¡临时表相关配置

          ¡¡¡¡tmp_table_size£º指定?#20302;?#21019;建的内存临时表最大大小;http://dev.mysql.com/doc/refman/5.1/en/server-system-variables.html#sysvar_tmp_table_size

          ¡¡¡¡max_heap_table_size: 指定用户创建的内存表的最大大小;http://dev.mysql.com/doc/refman/5.1/en/server-system-variables.html#sysvar_max_heap_table_size

          ¡¡¡¡注意£º最终?#21335;低?#21019;建的内存临时表大小是取上述两个配置值的最小值¡£

          ¡¡¡¡表的设计原则

          ¡¡¡¡使用临时表一般?#23478;?#21619;着性能比较低£¬特别是使用磁盘临时表£¬性能更慢£¬因此我们在实际应用中应该尽量避免临时表的使用¡£ 常见的避免临时表的方法有£º

          ¡¡¡¡1)创建索引£º在ORDER BY或者GROUP BY的列上创建索引;

          ¡¡¡¡2)分拆很长的列£º一般情况下£¬TEXT¡¢BLOB£¬大于512字节的字符串£¬基本上都是为了显示信息£¬而?#25442;?#29992;于查询条件£¬ 因此表设?#39057;?#26102;候£¬应?#23186;?#36825;些列独立到另外一张表¡£

          ¡¡¡¡SQL优化

          ¡¡¡¡如果表的设计已经确定£¬修改比较困难£¬那么?#37096;?#20197;通过优化SQL语句来减少临时表的大小£¬以提升SQL执行效率¡£

          ¡¡¡¡常见的优化SQL语句方法如下£º

          ¡¡¡¡1)拆分SQL语句

          ¡¡¡¡临时表主要是用于排序和分组£¬很多业务都是要求排序后再取出详细的分页数据£¬这?#26234;?#20917;下可以将排序和取出详细数据拆分成不同的SQL£¬以降低排序或分组时临时表的大小£¬提升排序和分组的效率£¬我们的案例就是采用这种方法¡£

          ¡¡¡¡2)优化业务£¬去掉排序分组等操作

          ¡¡¡¡有时候业务其实并不需要排序或分组£¬仅仅是为了好看或者阅读方便而进行了排序£¬例如数据导出¡¢数据查询等操作£¬这?#26234;?#20917;下去掉排序和分组对业务也没有多大影响¡£

          ¡¡¡¡如?#38395;?#26029;使用了临时表£¿

          ¡¡¡¡使用explain查看执行?#33529;®£¬Extra列看到Using temporary就意味着使用了临时表¡£

          ¡¡¡¡详细信息请参考MySQL官方手册£º http://dev.mysql.com/doc/refman/5.1/en/internal-temporary-tables.html

          ¡¡¡¡原文链接£ºhttp://tech.uc.cn/?p=2218


          ¡¾点击进入¡°天极网企业频道¡±?#29616;?#24494;博¡¿

          £¨作者£º运华 http://tech.uc.cn 责任编辑?#21644;?#29577;平£©
          请关注天极网天极新媒体 最酷科技资讯
          扫码赢大奖
          评论
          * 网友发言均非本站立场£¬本站不在评论栏推荐任何网店¡¢经销商£¬谨防上当受骗£¡
          办公软件IT新闻整机
          ×Ïҹʱʱ²ÊÈí¼þ

          <td id="cl7yg"></td>

              <code id="cl7yg"></code>

                <td id="cl7yg"></td>

                    <code id="cl7yg"></code>