查看: 2097| 回复: 4
跳转到指定楼层
上一主题 下一主题
收起左侧

[其他] 急!关于数据库检索效率优化的问题

全局:

注册一亩三分地论坛,查看更多干货!

您需要 登录 才可以下载或查看附件。没有帐号?注册账号

x

最近在公司用Node JS 做网站后台功能,需要关联三张表然后返回所有满足条件的image信息的list,由于程序发布的远端PC配置比较渣,在进行复杂关联检索时,用时比较长,以前数据库在学校学的比较渣,自己确实也不是技术方面的大牛,恳请各位前辈可以给我一些解决建议,自己也可以得到学习,表的具体结构和query如下:
table 1:                                                           
image:                                                                                                                     
image_id,       bigint(20) unsigned NOT NULL(PK)                 
image_path,   varchar(512) NOT NULL           
mailpiece_id,  varchar(100) NOT NULL               
scanner_id,    enum('BL','BR','FL')
image_type,   varchar(100) NOT NULL
. 1point3acres.com source_id,      varchar(100) NOT NULL
orientation,    tinyint(3) unsigned NOT NULL

table 2 :  . ----
mailpiece:                                                           
mailpiece_key,  bigint(20) unsigned NOT NULL(PK)         
mailpiece_id,    varchar(100) NOT NULL   
tesetset_id,      bigint(20) unsigned NOT NULL
image_path,     varchar(512) NOT NULL                                            . From 1point 3acres bbs
mailpiece_id,    varchar(100) NOT NULL                       . From 1point 3acres bbs

table 3:
redirections:
sortcode,         varchar(100) NOT NULL(PK : sortcode + mailpiece_id)  -baidu 1point3acres
mailpiece_id,    varchar(100) NOT NULL
redirection_id,  bigint(20) NOT NULL


QUERY:
SELECT mailpieces.*, rds.sortcode FROM
   (SELECT i.* FROM image i JOIN mailpiece USING (mailpiece_id).1point3acres
    WHERE mailpiece_id IN (SELECT mailpiece_id FROM redirections)
    AND testset_id = 51 AND (mailpiece_key - 1) % 1 = 0) mailpieces INNER JOIN redirections rds USING (mailpiece_id);

如果有什么描述不清楚的地方麻烦各位留言,我会尽快回复,急!!!谢谢各位!!

.1point3acres


补充内容 (2016-4-6 05:20):
一旦关联表redirections,检索就会变得非常慢,倘若把query 第三行SELECT mailpiece_id FROM redirections 替换成SELECT mailpiece_id FROM sortcodes INNER JOIN sortcode_sequence USING (sequence_id)就会很快
.google  и
补充内容 (2016-4-6 05:22):
接上面的补充,但是整个检索结果又必须匹配表redirections里面的mailpiece_id,是不是因为这张表的PK是两列合成,如果把mailpiece_id设置成INDEX会不会好一些,恳请大家解答一下

上一篇:关于转专业留学途径多个问题的杂糅产物。。
下一篇:疑惑的马里兰回信,求看看
🔗
luochen01 2016-4-6 10:53:57 | 只看该作者
全局:
有两个建议
一是可以在所有需要join的列上都建立secondary index,例如mailpiece_id,效果应该会好一些
二是可以考虑把SQL里面的IN语句去掉,然后通过semi-join的方式改写 (理论上query optimizer会自动做这件事情,但不知道楼主用的数据库优化到了什么程度) 。。。
回复

使用道具 举报

🔗
cccpwx 2016-4-6 11:58:54 | 只看该作者
全局:
1. sql里面的IN影响性能,能left join的就不要用IN。
2. 可以使用 exist 和not exist代替 in和not in。
回复

使用道具 举报

🔗
 楼主| LzhJeremy 2016-4-6 12:04:44 | 只看该作者
全局:
luochen01 发表于 2016-4-6 10:53
有两个建议
一是可以在所有需要join的列上都建立secondary index,例如mailpiece_id,效果应该会好一些
...
.google  и
谢谢建议,后来我尝试加了secondary index, 把mailpiece_id设置成为后,检索速度瞬间就上来了,还是自己学艺不精,明天去公司了鼓捣一下您说的第二种方法,毕竟更快是好的,十分感谢啊
回复

使用道具 举报

🔗
 楼主| LzhJeremy 2016-4-6 12:06:05 | 只看该作者
全局:
cccpwx 发表于 2016-4-6 11:58
1. sql里面的IN影响性能,能left join的就不要用IN。
2. 可以使用 exist 和not exist代替 in和not in。

好的,谢谢啦,后来把mailpiece_id设置成为secondary index后,检索速度一下子就上来了,明天再按照您的方法进行优化一下,果然还是自己以前没好好学习,十分感谢!!
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 注册账号
隐私提醒:
  • ☑ 禁止发布广告,拉群,贴个人联系方式:找人请去🔗同学同事飞友,拉群请去🔗拉群结伴,广告请去🔗跳蚤市场,和 🔗租房广告|找室友
  • ☑ 论坛内容在发帖 30 分钟内可以编辑,过后则不能删帖。为防止被骚扰甚至人肉,不要公开留微信等联系方式,如有需求请以论坛私信方式发送。
  • ☑ 干货版块可免费使用 🔗超级匿名:面经(美国面经、中国面经、数科面经、PM面经),抖包袱(美国、中国)和录取汇报、定位选校版
  • ☑ 查阅全站 🔗各种匿名方法

本版积分规则

>
快速回复 返回顶部 返回列表