大表拆分终于发布并正常
作者:fcp | 分类: 大话技术 | 标签: 大表拆分 分布式数据库 高并发 | 日期:2009-03-25
数据量数以亿计,每日变更量超过2kw,访问最频繁的一张表,终于拆分上线并稳定运行,应用本身没做任何修改。对于我们来说,是里程碑的事件,未将来用廉价硬件满足海量数据的高并发访问需求打下了坚实的基础。
有25人发表了评论 ↓发表评论↓
作者:fcp | 分类: 大话技术 | 标签: 大表拆分 分布式数据库 高并发 | 日期:2009-03-25
数据量数以亿计,每日变更量超过2kw,访问最频繁的一张表,终于拆分上线并稳定运行,应用本身没做任何修改。对于我们来说,是里程碑的事件,未将来用廉价硬件满足海量数据的高并发访问需求打下了坚实的基础。
恭喜啦!
能否请教一下最终用的是哪一种方案呢?
cai_wy @ March 25, 2009 |
我也关心采用的那种方案?
shi @ March 25, 2009 |
是呀,可否说一下具体的方案呢?
wyjs @ March 26, 2009 |
是啊,说说具体的细节嘛!
键盘人生 @ March 26, 2009 |
具体细节就是自己做了一个中间层,代理了应用的数据库请求,在这一层做分布式处理
fcp @ March 26, 2009 |
我们也做了水平切分,根据ID规则进行分表,主程序不改动,加了一道做分发
Maven @ March 26, 2009 |
(⊙ˍ⊙)
自己做的中间层啊,阿里巴巴的DBA团队确实厉害:)
我一开始猜测会你们会用Amoeba或者HiveDB来作查询代理。
现在部署上去之后性能如何呢?响应时间会不会明显下降呢?
cai_wy @ March 26, 2009 |
这种水文,不写也罢。炫耀吗?
im@sorry.com @ March 26, 2009 |
回7楼,代码不是dba写的,发布后应用没有明显的响应下降。 最重要的是下个季度逐步迁移到mysql,虽然应用统一使用的 mysql的jdbc client,由于期望一个集群一个集群迁移,oracle与mysql共存会增加一些复杂性。
回8楼,我井底之蛙,在自己团队blog yy下,也碍了您法眼?
fcp @ March 26, 2009 |
数据库线性扩展的划时代之作!
让昂贵的小鸡见鬼去吧!
Jonathan @ March 26, 2009 |
中间层是用c写的吗?
tips @ March 26, 2009 |
中间层是 java 写的,代码本身性能不是问题。
期待将来解决分布式事务多点写入 以及 架上一层多数据源的数据merge和join就好了。
fcp @ March 27, 2009 |
我知道,哈哈
yejr @ March 27, 2009 |
叶大师,把知道的透露点哇
小宝 @ March 27, 2009 |
为以后的扩展打下了基础,以后有好处的啊。哈
vogts @ March 28, 2009 |
后面还将会有一系列后续动作,将会更精彩更火爆,哈哈
sky @ March 31, 2009 |
看了等于没看 说了貌似等于没说
我等老百姓 只有瞪眼 看的份啦 (⊙ˍ⊙)
散~
hawking @ April 24, 2009 |
据说你们采用 amoeba for aladdin 嘛?
aus @ November 6, 2009 |
(⊙ˍ⊙)
杭州搬家公司 @ December 8, 2009 |
杭州搬家 @ December 8, 2009 |
(─.─||)
网站建设 @ December 8, 2009 |
(⊙ˍ⊙)
网站建设公司 @ December 8, 2009 |
杭州三替搬家 @ December 8, 2009 |
b( ̄▽ ̄)d
杭州搬家 @ December 8, 2009 |
杭州搬家公司 @ December 8, 2009 |