回忆未来[张宴]

　　[文章+程序 作者：张宴 本文版本：v1.0 最后修改：2008.07.01 转载请注明原文链接：http://blog.s135.com/read.php/356.htm]

　　MySQL在高并发连接、数据库记录数较多的情况下，SELECT ... WHERE ... LIKE '%...%'的全文搜索方式不仅效率差，而且以通配符%和_开头作查询时，使用不到索引，需要全表扫描，对数据库的压力也很大。MySQL针对这一问题提供了一种全文索引解决方案，这不仅仅提高了性能和效率（因为MySQL对这些字段做了索引来优化搜索），而且实现了更高质量的搜索。但是，至今为止，MySQL对中文全文索引无法正确支持。

　　中文与西方文字如英文的一个重要区别在于，西方文字以单词为单位，单词与单词之间以空格分隔。而中文以字为单位，词由一个或多个字组成，词与词之间没有空格分隔。当试图在一个含有中文字符的字段中使用全文搜索时，不会得到正确的结果，原因在于中文中没有像英文空格那样对词定界，不能以空格作为分割，对中文词语进行索引。

　　引用《MySQL 5.1参考手册》中的一段话：


　　国内已有的MySQL中文全文索引解决方案有两个：一是海量科技的MySQL5.0.37--LinuxX86-Chinese+，二是hightman开发的mysql-5.1.11-ft-hightman，两者都是基于中文分词技术，对中文语句进行拆分。但是，两者都有弊端，一是不支持64位操作系统；二是对修改了MySQL源码，只支持某一MySQL版本，不便于跟进新版本；三是词库不能做到很大很全，对于专业性质较强的数据库内容（例如搜索“颐和园路东口”、“清华东路西口”等公交站点，“莱镇香格里”、“碧海云天”等楼盘名称），基于中文分词的全文索引经常搜索不出来任何内容，即使添加分词词库，也不会很全面。

　　由于业务上精准全文查询的需要，我借鉴了二元交叉切分算法的思想，用自创的“三字节交叉切分算法”，写出了这款“MySQL中文全文索引插件──mysqlcft 1.0.0”。由于开发时间仓促，难免存在未发现的问题，这将后续的版本中不断完善。对于百万条记录的MySQL表进行全文检索，mysqlcft已经够用。

　　Mysqlcft 网址：http://code.google.com/p/mysqlcft/
　　Mysqlcft 作者：张宴

---

　　一、MySQL中文全文索引插件mysqlcft的特点：
　　1、优点：
　　①、精准度很高：采用自创的“三字节交叉切分算法”，对中文语句进行分割，无中文分词词库，搜索精准度远比中文分词算法高，能达到LIKE '%...%"的准确率。
　　②、查询速度快：查询速度比LIKE '%...%"搜索快3～50倍，文章末尾有测试结果；
　　③、标准插件式：以MySQL 5.1全文索引的标准插件形式开发，不修改MySQL源代码，不影响MySQL的其他功能，可快速跟进MySQL新版本；
　　④、支持版本多：支持所有的MySQL 5.1 Release Candidate版本，即MySQL 5.1.22 RC～最新的MySQL 5.1.25 RC；
　　⑤、支持字符集：支持包括GBK、GB2312、UTF-8、Latin1、BIG5在内的MySQL字符集（其他字符集没有测试过）；
　　⑥、系统兼容好：具有i386和x86_64两个版本，支持32位（i386）和64位（x86_64）CPU及Linux系统；
　　⑦、适合分布式：非常适合MySQL Slave分布式系统架构，无词库维护成本，不存在词库同步问题。

　　2、缺点：
　　①、mysqlcft中文全文索引只适用于MyISAM表，因为MySQL只支持对MyISAM表建立FULLTEXT索引；
　　②、MySQL不能静态编译安装，否则无法安装mysqlcft插件；
　　③、基于“三字节交叉切分算法”的索引文件会比海量、ft-hightman等基于“中文分词算法”的索引文件稍大，但不是大很多。根据我的测试，mysqlcft全文索引的.MYI索引文件是.MYD数据文件的2～5倍。

---

　　二、mysqlcft的核心思想──“三字节交叉切分算法”

　　

　　注：本文以0～7数字序号代表“英文”、“数字”和“半个汉字”，以便说明。
　　1、按三字节对中文语句进行切分，建立全文索引：
　　例如：“全文索引”或“1台x光机”四个字会被交叉分拆为6份，建立反向索引：
　　012　　123　　234　　345　　456　　567

　　2、按三字节对搜索的关键字进行切分，在全文索引中找出对应信息：
　　例①：搜索关键字“文索”，用数字序号表示就是“2～5”，那么它将被切分成：
　　234　　345
　　这样，就与全文索引对上了。

　　例②：搜索关键字“x光机”，用数字序号表示就是“3～7”，那么它将被切分成：
　　345　　456　　567
　　这样，也与全文索引对上了。

　　例③：搜索关键字“1台 光机”，用数字序号表示就是“0～2”和“4～7”，那么它将被切分成：
　　012　　456　　567
　　这样，多关键字搜索也与全文索引对上了。

　　北京时间6月30日凌晨，2008欧洲杯决赛打响，德国战车对阵西班牙斗牛士，第33分钟，哈维直塞，托雷斯首开纪录。以下是托雷斯进球视频。

　　[文章作者：张宴 本文版本：v1.0 最后修改：2008.06.25 转载请注明原文链接：http://blog.s135.com/read.php/354.htm]

　　最近，在我原有的“Linux服务器系统监控程序”基础上，完善了HTTP、TCP、MySQL主动监控与MSN、E-mail、手机短信报警。监控程序以shell和PHP程序编写，以下为主要框架与部分代码：

　　一、系统监控接口程序（interface.php）具有的报警方式
　　１、MSN实时报警
　　①、监控程序每次检测到故障存在、或者故障恢复，都会发送短消息到管理员的MSN。
　　

　　虽然没有订阅过全年的《程序员》杂志，但是，买到的这本以“2008开源在中国”为主题的2008年06期《程序员》，还是值得一看的。

　　专题布局：
　　（1）2008开源在中国
　　（2）说不尽的开源——记“开源在中国2008”研讨会
　　（3）摸着石头过河——记开源社区huihu.org
　　（4）莫等闲，抬望云和月
　　（5）从一封信说起——记姜太文博士和他的XOOPS项目
　　（6）比开源更自由的存在——哲思自由软件社区专访
　　（7）解密淘宝网的开源架构
　　（8）自由软件和新浪网
　　（9）项庄舞剑，意在沛公？——评国际软件巨头的开源策略
　　（10）大企业如何助力开源
　　（11）让漫天繁星在指尖随心闪耀——专访开源专家马越
　　（12）开源商业模式介绍
　　（13）与开源共成长
　　（14）ZK创始人叶明宪的开源进行时
　　（15）开源者说——一个开源项目贡献者的自白
　　（16）开源离我们有多远——中国开源现状调查
　　（17）开源授权协议（License）初探
　　（18）一个程序员谈开源  

　　架构专栏：
　　（1）Web架构师的能力
　　Web架构师要在技术和业务之间找到平衡，选择最低成本的技术来实现业务需求，还要适当地为业务发展保留适当的平台空间。  

　　（2）炫目的敏捷架构师
　　随着敏捷软件开发的理念和方法论逐渐被越来越多的人接受，敏捷架构师在团队中的地位也越来越重要，本文讲述一个敏捷架构师应该具备的一些基本素质。  

　　（3）写给Web2.0站长，不仅仅是泼冷水
　　看到国外Web2.0站点的火热发展，国内众多Web创业者两眼发红，抄得兴起。然而没有扎实的技术积累和人才储备，要想持续发展几乎是不可能的事情。  

　　（4）豆瓣的架构  
　　经常有人说web2.0融资困难，商业模式不清楚，可能这是真的。但从技术上看，互联网技术不可能一成不变,本期选登的这两篇文章，可以让我们看到这方面的发展。  

　　[文章作者：张宴 本文版本：v1.1 最后修改：2008.06.19 转载请注明原文链接：http://blog.s135.com/read.php/352.htm]

　　Nginx 超越Apache的高性能和稳定性，使得国内使用 Nginx 作为 Web 服务器的网站也越来越多，其中有新浪、网易、腾讯等门户网站，六间房、酷6等视频分享网站，Discuz!、水木社区等知名论坛，豆瓣、YUPOO等新兴Web 2.0网站。

　　Nginx 在国内的应用正在不断发展壮大！

　　一、使用 Nginx 运行 PHP(FastCGI) 程序的网站：

　　1、六间房视频（http://www.6.cn/）：nginx/0.6.14 + PHP


　　2、Discuz!官方论坛（http://www.discuz.net/）：nginx/0.7.2 + PHP/5.2.6


　　3、互联星空播客[新浪服务器]（http://you.video.vnet.cn/）：nginx/0.5.33 + PHP/5.2.5

　　[文章作者：张宴 本文版本：v3.1 最后修改：2008.06.13 转载请注明原文链接：http://blog.s135.com/read.php/351.htm]

　　前言：本文是我撰写的关于搭建“Nginx + PHP（FastCGI）”Web服务器的第3篇文章，也是Nginx 0.6系列版本成为稳定版后的第一篇文章，安装、配置方式与以往略有不同，并增加了一些在生产环境运行中不断修改、调整，总结出的配置上的优化。

　　链接：《2007年9月的第1版》、《2007年12月的第2版》

　　

　　Nginx ("engine x") 是一个高性能的 HTTP 和反向代理服务器，也是一个 IMAP/POP3/SMTP 代理服务器。 Nginx 是由 Igor Sysoev 为俄罗斯访问量第二的 Rambler.ru 站点开发的，它已经在该站点运行超过两年半了。Igor 将源代码以类BSD许可证的形式发布。

　　Nginx 的中文维基：http://wiki.codemongers.com/NginxChs

---

　　在高并发连接的情况下，Nginx是Apache服务器不错的替代品。Nginx同时也可以作为7层负载均衡服务器来使用。根据我的测试结果，Nginx 0.6.31 + PHP 5.2.6 (FastCGI) 可以承受3万以上的并发连接数，相当于同等环境下Apache的10倍。

　　根据我的经验，4GB内存的服务器+Apache（prefork模式）一般只能处理3000个并发连接，因为它们将占用3GB以上的内存，还得为系统预留1GB的内存。我曾经就有两台Apache服务器，因为在配置文件中设置的MaxClients为4000，当Apache并发连接数达到3800时，导致服务器内存和Swap空间用满而崩溃。

　　而这台 Nginx 0.6.31 + PHP 5.2.6 (FastCGI) 服务器在3万并发连接下，开启的10个Nginx进程消耗150M内存（15M*10=150M），开启的64个php-cgi进程消耗1280M内存（20M*64=1280M），加上系统自身消耗的内存，总共消耗不到2GB内存。如果服务器内存较小，完全可以只开启25个php-cgi进程，这样php-cgi消耗的总内存数才500M。

　　在3万并发连接下，访问Nginx 0.6.31 + PHP 5.2.6 (FastCGI) 服务器的PHP程序，仍然速度飞快。下图为Nginx的状态监控页面，显示的活动连接数为28457（关于Nginx的监控页配置，会在本文接下来所给出的Nginx配置文件中写明）：

　　

　　我生产环境下的两台Nginx + PHP5（FastCGI）服务器，跑多个一般复杂的纯PHP动态程序，单台Nginx + PHP5（FastCGI）服务器跑PHP动态程序的处理能力已经超过“700次请求/秒”，相当于每天可以承受6000万（700*60*60*24=60480000）的访问量（更多信息见此），而服务器的系统负载也不算高：

　　

---

　　安装步骤：
　　（系统要求：Linux 2.6+ 内核，本文中的Linux操作系统为CentOS 5.1，另在RedHat AS4上也安装成功）

　　上个星期天（2008年6月1日），国际儿童节。我和老婆以及朋友，去北京顺义区赵全营镇板桥的太阳村，看望了那里的孩子，为他们送去食物和衣物，并认领了爱心枣树，贡献上自己的一份爱心。这个儿童节，你们不会孤单！

　　公交乘车路线：在“东直门外大街（东直门地铁站B出口以东）”乘916空调车（慢车）至“牛栏山道口”下车，换乘947在“板桥”站下车，往回走100米到十字路口（途中看到一个写有太阳村的门不是正门，走不通，请继续往回直到十字路口），沿着南北方向马路向北走50米。

　　太阳村背景：

　　童年本来应该是快乐的，但并不是每个孩子都能拥有快乐的童年。太阳村里就住着这样一群特殊的孩子，他们的父母有的在服刑，有的已经伏法。由于父母犯罪，这些孩子得不到像烈士子女那样的尊重和照顾，也得不到一般孤儿的救助，成为社会上一个特殊的群体。这些孩子曾遭受过身边人百般的歧视和污辱，有的流浪街头，以行乞、偷窃为生；有的挣扎在生死边缘，无依无靠。

　　原陕西省监狱管理局一级警督张淑琴女士，在长期的监狱采访与犯罪人员接触过程中，让她发现并开始思索一个问题：假如是英雄或烈士留下的孩子，人们会把敬佩和感激之情转移到英烈子女身上；但对于罪犯的孩子有些人则会把痛恨及厌恶延伸到这些孩子身上，使他们沦为一个不幸的特殊群体。而这些孩子如果得不到妥善安置的话，很大程度上又会影响到父母在狱中的表现。为了让罪犯能安心服刑。张淑琴决定帮助那些因父母入狱而无人照看的孩子。

　　从1996年5月起，张淑琴在社会各界的大力支持下，自筹资金，相继在陕西省、河南省新乡市、北京市顺义区、陕西省陇县创建了4所专门救助服刑人员未成年子女的儿童村。在过去的十年中，太阳村救助了近800名特殊的孩子。

　　6.1拍下的照片：

　　太阳村正门
　　

　　[文章作者：张宴 本文版本：v1.1 最后修改：2008.06.02 转载请注明出自：http://blog.s135.com]

　　TCMalloc（Thread-Caching Malloc）是google开发的开源工具──“google-perftools”中的成员。与标准的glibc库的malloc相比，TCMalloc在内存的分配上效率和速度要高得多，可以在很大程度上提高MySQL服务器在高并发情况下的性能，降低系统负载。

　　TCMalloc的实现原理和测试报告请见一篇文章：《TCMalloc：线程缓存的Malloc》

　　为MySQL添加TCMalloc库的安装步骤（Linux环境）：

　　1、64位操作系统请先安装libunwind库，32位操作系统不要安装。libunwind库为基于64位CPU和操作系统的程序提供了基本的堆栈辗转开解功能，其中包括用于输出堆栈跟踪的API、用于以编程方式辗转开解堆栈的API以及支持C++异常处理机制的API。


　　2、安装google-perftools：


　　3、修改MySQL启动脚本（根据你的MySQL安装位置而定）：

　　在# executing mysqld_safe的下一行，加上：
　　保存后退出，然后重启MySQL服务器。


　　4、使用lsof命令查看tcmalloc是否起效：

　　如果发现以下信息，说明tcmalloc已经起效：
　　mysqld    10847   mysql  mem       REG        8,5  1203756   20484960 /usr/local/lib/libtcmalloc.so.0.0.0  

---

　　注：2008年6月2日，修正了libunwind在x86_64位操作系统下的编译错误，TCMalloc无法加载等问题。

　　涉及修改内容：
　　1、libunwind的编译参数改为：
　　CFLAGS=-fPIC ./configure
　　make CFLAGS=-fPIC
　　make CFLAGS=-fPIC install

　　2、增加：
　　echo "/usr/local/lib" > /etc/ld.so.conf.d/usr_local_lib.conf
　　/sbin/ldconfig

　　3、修改MySQL加载TCMalloc的语句：
　　export LD_PRELOAD=/usr/local/lib/libtcmalloc.so

　　感谢网友router。

　　[文章作者：张宴 本文版本：v1.0 最后修改：2008.05.29 转载请注明出自：http://blog.s135.com]

　　Citrix NetScaler是一款不错的4-7层硬件负载均衡交换机，市场占有率仅次于F5 BIG-IP，位居第二。NetScaler 8.0是美国思杰系统有限公司（Citrix Systems, Inc）正式推出的最新版本NetScaler产品系列。

　　从我的实际测试来看，NetScaler 8.0在七层负载均衡方面，性能和功能都要比F5 BIG-IP强。

　　NetScaler 8.0的负载均衡监控中，可以对MySQL数据库进行健康检查，而F5 BIG-IP目前只支持对Oracle和Microsoft SQL Server数据库的健康检查。

　　

　　但是，NetScaler 8.0自带的MySQL健康检查脚本（nsmysql.pl）并不完善，它只能检查一条SQL语句执行是否出错，并不能检查MySQL主从结构中的MySQL Slave数据库同步是否正常、表有无损坏、同步延迟是否过大、是否出现错误、非sleeping状态的连程数是否过高等情况。于是，我根据自己的需要，为NetScaler 8.0写了一个MySQL Slave数据库负载均衡健康检查脚本（nsmysql-slave.pl），实现了上述需求。

　　有了“nsmysql-slave.pl”做健康检查，利用NetScaler的VIP（虚拟IP），就可以完美实现多台MySQL Slave数据库的负载均衡了。当一台MySQL Slave数据库出现不同步、表损坏、同步延迟过大（本脚本中默认设置的落后MySQL主库180秒视为延迟，可根据具体应用修改）、连程数太高（本脚本中默认设置的是大于100视为连程数太高，可根据具体应用修改）等情况，“nsmysql-slave.pl”就会自动将其检查出来，并告知NetScaler，NetScaler会将该数据库标识为宕机，从而不将用户的查询请求传送到这台发生故障的数据库上。故障一旦修复，“nsmysql-slave.pl”会自动告知NetScaler，该数据库已经可以使用。

　　“nsmysql-slave.pl”源代码如下：

　　我已经有很长一段时间，忘了更新《我的技术文章与计算机作品汇总页》（即“技术汇总”栏）了。今天，我已经该页的信息补充至最新。

　　http://blog.s135.com/tech/

　　[文章作者：张宴 本文版本：v1.0 最后修改：2008.05.22 转载请注明出自：http://blog.s135.com]

　　前言：最近一直在对比测试F5 BIG-IP和Citrix NetScaler负载均衡器的各项性能，于是写下此篇文章，记录F5 BIG-IP的常见应用配置方法。

　　目前，许多厂商推出了专用于平衡服务器负载的负载均衡器，如F5 Network公司的BIG-IP，Citrix公司的NetScaler。F5 BIG-IP LTM 的官方名称叫做本地流量管理器，可以做4-7层负载均衡，具有负载均衡、应用交换、会话交换、状态监控、智能网络地址转换、通用持续性、响应错误处理、IPv6网关、高级路由、智能端口镜像、SSL加速、智能HTTP压缩、TCP优化、第7层速率整形、内容缓冲、内容转换、连接加速、高速缓存、Cookie加密、选择性内容加密、应用攻击过滤、拒绝服务(DoS)攻击和SYN Flood保护、防火墙—包过滤、包消毒等功能。

　　以下是F5 BIG-IP用作HTTP负载均衡器的主要功能：
　　①、F5 BIG-IP提供12种灵活的算法将所有流量均衡的分配到各个服务器，而面对用户，只是一台虚拟服务器。
　　②、F5 BIG-IP可以确认应用程序能否对请求返回对应的数据。假如F5 BIG-IP后面的某一台服务器发生服务停止、死机等故障，F5会检查出来并将该服务器标识为宕机，从而不将用户的访问请求传送到该台发生故障的服务器上。这样，只要其它的服务器正常，用户的访问就不会受到影响。宕机一旦修复，F5 BIG-IP就会自动查证应用已能对客户请求作出正确响应并恢复向该服务器传送。
　　③、F5 BIG-IP具有动态Session的会话保持功能。
　　④、F5 BIG-IP的iRules功能可以做HTTP内容过滤，根据不同的域名、URL，将访问请求传送到不同的服务器。

---

　　下面，结合实例，配置F5 BIG-IP LTM v9.x：

　　

　　①、如图，假设域名blog.s135.com被解析到F5的外网/公网虚拟IP：61.1.1.3（vs_squid），该虚拟IP下有一个服务器池（pool_squid），该服务器池下包含两台真实的Squid服务器（192.168.1.11和192.168.1.12）。
　　②、如果Squid缓存未命中，则会请求F5的内网虚拟IP：192.168.1.3（vs_apache），该虚拟IP下有一个默认服务器池（pool_apache_default），该服务器池下包含两台真实的Apache服务器（192.168.1.21和192.168.1.22），当该虚拟IP匹配iRules规则时，则会访问另外一个服务器池（pool_apache_irules），该服务器池下同样包含两台真实的Apache服务器（192.168.1.23和192.168.1.24）。
　　③、另外，所有真实服务器的默认网关指向F5的自身内网IP，即192.168.1.2。
　　④、所有的真实服务器通过SNAT IP地址61.1.1.4访问互联网。

---

　　详细配置步骤：

　　时间：2008年5月2日，地点：湖南省湘西自治州古丈县，我们的婚礼拉开帷幕。

　　1、抢亲，敲开新娘的房门，找到被藏起的婚鞋


　　2、接出新娘