Archive for July 21st, 2008
关于大数据量模糊查询的方法
Monday, July 21st, 2008
说实话，在ITPUB上也好，CNOUG上也好，看到很多人问数据模糊查询的问题，特别是一张表的数据量在200M以后，你的查询速度越来越慢。
其实最最简单的就是 like ‘%xx%’，但是这样效率极差，纯粹在拼机器的IO了。
其实在我的日常工作中，对于模糊查询，主要使用以下几种方案提高效率：
A：全文索引
Oracle自带的，SQL SERVER,MYSQL也有这个功能。它的主要实现方式是拆字。记得“玉面飞龙”有一篇文章介绍ORACLE全文索引的，介绍的很详细。
但是全文索引也有很多不足，如：繁体字，孤僻字的支持不好；内部BUG比较多；自身维护的代价和成本很高；新来的开发搞不懂全文索引查询语法；
目前也就少数几个数据库在用全文索引了，打算在不远的将来，将全文索引拿下线了。全部使用Search实现。
B：搜索引擎
其实alibaba集团全部使用的搜索技术，叫“ISEARCH”；100%的知识产权归阿里巴巴所有。
其实在业界最有名的搜索引擎叫“Lunce”，它不仅仅支持JAVA,也支持.NET。
使用搜索最大的好处，它是可以线性扩展的，不像我们的DB。此外我介绍一下搜索引擎大致过程：
数据库有张LOG表，记录变化过的数据》》搜索引擎根据LOG表的数据，DUMP出一份BUILD数据》》把DUMP的东西分发到各个集群》》每台机器再把这个应用到索引文件》》APCHE提供WEB SERVICE给前台
大致过程就这样。至于索引文件本身是个二进制文件。
我觉得搜索引擎本身的实现机制和ORACLE的全文索引类似，也是根据分词器来分词。如果去查找也是根据一个个字Hash mapping出来的，然后根据位置先后次序，找出哪些是符合的。
ASM 磁盘组也可以当成AIX的VG来用
Monday, July 21st, 2008
当多台AIX连接相同的SAN存储时，存储lun可以同时输出到各个主机，这样VG可以在各个主机自由的切换，
为拷贝转移文件提供了极大的便利，现在发现ASM也可以这么做
我们的RAC环境是4个linux接点加一个linux standby
存储输出是4个lun ，disk[1,2,3,4],每个512G,每个lun都同时输出到5台主机，
其中disk1,disk2作为4个RAC接点的共享磁盘，做了裸设备，并创建了asm磁盘组 mydiskgroup
disk3,disk4作为standby的磁盘，也做了asm磁盘组 diskgroupstb
现在rac里面已经导入了点数据，数据库有400G，要做standby，走网络拷贝到备机上感觉太慢了，就试了下上面的想法
1.备机上卸载磁盘组diskgroupstb
@>shutdown immediate;
ASM diskgroups dismounted
ASM instance shutdown
2.4个rac接点的ASM参数文件修改asm_diskstring
@>alter system set asm_diskstring=’/opt/oracle/oradata/myasm/disk[1,2,3,4]‘ scope = spfile;
System altered.
3.重起asm，并挂上diskgroupstb
@>startup force;
ASM instance started
Total System Global Area 283930624 bytes
Fixed Size 2143704 bytes
Variable Size 256621096 bytes
ASM Cache 25165824 bytes
ASM diskgroups mounted
@>show parameter string
NAME TYPE VALUE
———————————— ———– ——————————
asm_diskstring string /opt/oracle/oradata/myasm/disk
[1,2,3,4]
@>alter diskgroup diskgroupstb mount;
Diskgroup altered.
ASMCMD> ls -l
State Type Rebal Name
MOUNTED EXTERN [...]
