《高性能Linux服务器构建实战》——3.4节通过UDFs实现Memcached与MySQL的自动更新...

xiaoxiao2021-04-17 175

3.4　通过UDFs实现Memcached与MySQL的自动更新

3.4.1　UDFs使用简介UDFs是User Defined Functions的缩写，表示MySQL的用户定义函数，应用程序可以利用这些函数从MySQL 5.0以上版本的数据库中访问Memcached写入或者获取的数据。此外，MySQL从5.1版本开始支持触发器，从而可以在触发器中使用UDFs直接更新Memcached的内容，这种方式降低了应用程序设计和编写的复杂性。下面简单介绍UDFs的安装和使用。安装UDFs需要在数据库服务器上安装两个包，分别是libmemcached和memcached_functions_mysql，这两个包都可以从http://download.tangent.org/下载。安装过程如下。1）需要的软件有memcached-1.2.6、libevent-1.4.4-stable、libmemcached-0.30，这些软件的安装非常简单，因此不做说明。2）安装mysql5.1，也不做说明。3）安装memcached_functions_mysql。基本步骤如下：

[root@web181 ~]#wget http://download.tangent.org/memcached_functions_mysql-0.9.tar.gz [root@web181 ~]#tar zxvf memcached_functions_mysql-0.9.tar.gz [root@web181 ~]#cd memcached_functions_mysql-0.9 [root@web181 memcached_functions_mysql-0.9]#./configure \ >--with-mysql=/usr/local/mysql51/bin/mysql_config [root@web181 memcached_functions_mysql-0.9]#make && make install

首次需要使用CREATE FUNCTION来初始化用户定义函数。有两种方法可以初始化所有MySQL提供的用户定义函数：第一种方法是在MySQL的SQL命令行中执行memcached_functions_mysql源码目录下的sql/install_functions.sql。第二种方法是运行memcached_functions_mysql源码目录下的utils/install.pl这个Perl脚本，把memcache function作为UDFs加入MySQL。4）执行下面SQL命令，查看安装是否成功。

3.4.2　memcached_functions_mysql应用实例下面通过一个具体的实例来演示memcached_functions_mysql的使用方法。1.创建两张表新建两张表：urls和results，更新urls表中的内容，使系统自动更新Memcached的内容。results用来记录更新Memcached失败的记录。SQL代码如下：

use tests; drop table if exists urls; CREATE TABLE `urls` ( `id` int(10) NOT NULL, `url` varchar(255) NOT NULL DEFAULT '', PRIMARY KEY (`id`) ); drop table if exists results; CREATE TABLE `results` ( `id` int(10) NOT NULL, `result` varchar(255) NOT NULL DEFAULT 'error', `time` timestamp NULL DEFAULT CURRENT_TIMESTAMP, PRIMARY KEY (`id`) );

2.建立3个trigger当向urls表中插入数据时，对Memcached执行set操作。trigger的代码如下：

DELIMITER // DROP TRIGGER IF EXISTS url_mem_insert; CREATE TRIGGER url_mem_insert BEFORE INSERT ON urls FOR EACH ROW BEGIN set @mm = memc_set(NEW.id, NEW.url); if @mm <> 0 then insert into results(id) values(NEW.id); end if; END // DELIMITER ;

当对urls表中的数据进行更新时，对Memcached执行replace操作。trigger代码如下：

DELIMITER // DROP TRIGGER IF EXISTS url_mem_update; CREATE TRIGGER url_mem_update BEFORE UPDATE ON urls FOR EACH ROW BEGIN set @mm = memc_replace(OLD.id,NEW.url); if @mm <> 0 then insert into results(id) values(OLD.id); end if; END // DELIMITER ;

当对urls表中的数据进行删除操作时，对Memcached执行delete操作。trigger代码如下：

DELIMITER // DROP TRIGGER IF EXISTS url_mem_delete; CREATE TRIGGER url_mem_delete BEFORE DELETE ON urls FOR EACH ROW BEGIN set @mm = memc_delete(OLD.ID); if @mm <> 0 then insert into results(id) values(OLD.id); end if; END // DELIMITER ;

3.设置Memcached相关参数设置UDFs操作Memcaced服务器的IP地址和端口。

mysql>SELECT memc_servers_set('192.168.1.184:11900'); +---------------------------------------+ | memc_servers_set('192.168.1.184:11900') | +---------------------------------------+ | 0 | +---------------------------------------+ 1 row in set (0.00 sec) mysql>select memc_server_count(); +---------------------+ | memc_server_count() | +---------------------+ | 1 | +---------------------+ 1 row in set (0.00 sec)

在MySQL命令行中列出可以修改Memcached参数的行为，执行的命令和输出结果如下：

mysql>select memc_list_behaviors()\G *************************** 1. row *************************** memc_list_behaviors(): MEMCACHED SERVER BEHAVIORS MEMCACHED_BEHAVIOR_SUPPORT_CAS MEMCACHED_BEHAVIOR_NO_BLOCK MEMCACHED_BEHAVIOR_TCP_NODELAY MEMCACHED_BEHAVIOR_HASH MEMCACHED_BEHAVIOR_CACHE_LOOKUPS MEMCACHED_BEHAVIOR_SOCKET_SEND_SIZE MEMCACHED_BEHAVIOR_SOCKET_RECV_SIZE MEMCACHED_BEHAVIOR_BUFFER_REQUESTS MEMCACHED_BEHAVIOR_KETAMA MEMCACHED_BEHAVIOR_POLL_TIMEOUT MEMCACHED_BEHAVIOR_RETRY_TIMEOUT MEMCACHED_BEHAVIOR_DISTRIBUTION MEMCACHED_BEHAVIOR_BUFFER_REQUESTS MEMCACHED_BEHAVIOR_USER_DATA MEMCACHED_BEHAVIOR_SORT_HOSTS MEMCACHED_BEHAVIOR_VERIFY_KEY MEMCACHED_BEHAVIOR_CONNECT_TIMEOUT MEMCACHED_BEHAVIOR_KETAMA_WEIGHTED MEMCACHED_BEHAVIOR_KETAMA_HASH MEMCACHED_BEHAVIOR_BINARY_PROTOCOL MEMCACHED_BEHAVIOR_SND_TIMEOUT MEMCACHED_BEHAVIOR_RCV_TIMEOUT MEMCACHED_BEHAVIOR_SERVER_FAILURE_LIMIT MEMCACHED_BEHAVIOR_IO_MSG_WATERMARK MEMCACHED_BEHAVIOR_IO_BYTES_WATERMARK

1 row in set (0.00 sec)设置MEMCACHED_BEHAVIOR_NO_BLOCK为打开状态，这样在Memcached出现问题（不能连接）时，数据可以继续插入MySQL中，但有报错提示；如果不设置此值，那么Memcached失败时，数据需要等到Memcached失败超时后才可以插入到表中。通过下面的设置，可以避免这种情况的发生。

mysql>select memc_servers_behavior_set('MEMCACHED_BEHAVIOR_NO_BLOCK','1'); +--------------------------------------------------------------+ | memc_servers_behavior_set('MEMCACHED_BEHAVIOR_NO_BLOCK','1') | +--------------------------------------------------------------+ | 0 | +--------------------------------------------------------------+ 1 row in set (0.00 sec) mysql>select memc_servers_behavior_set('MEMCACHED_BEHAVIOR_TCP_NODELAY','1'); +-----------------------------------------------------------------+ | memc_servers_behavior_set('MEMCACHED_BEHAVIOR_TCP_NODELAY','1') | +-----------------------------------------------------------------+ | 0 | +-----------------------------------------------------------------+ 1 row in set (0.00 sec)

3.4.3　对memcached_functions_mysql的简单功能进行测试1）向表urls中插入数据，然后查看Memcached是否对数据执行set操作。

mysql>insert into urls (id,url) values (1, 'http://www.test.com.cn'); Query OK, 1 row affected, 1 warning (0.00 sec) mysql> select memc_get('1'); +------------------------+ | memc_get('1') | +------------------------+ | http://www.test.com | +------------------------+ 1 row in set (0.00 sec) 1>telnet 192.168.1.184 11900 Trying 192.168.1.184... Connected to 192.168.1.184 (192.168.1.184). Escape character is '^]'. get 1 VALUE 1 0 22 http://www.test.com.cn END

2）更新表urls里面的数据，然后查询Memcached中是否也进行了更新。

mysql>update test.urls set url='http://blog.test.com.cn' where id=1; Query OK, 1 row affected, 1 warning (0.00 sec) Rows matched: 1 Changed: 1 Warnings: 0 mysql> select memc_replace('1','http://blog.test.com.cn'); +---------------------------------------------+ | memc_replace('1','http://blog.test.com.cn') | +---------------------------------------------+ | 0 | +---------------------------------------------+ 1 row in set (0.00 sec) mysql> select memc_get('1'); +-------------------------+ | memc_get('1') | +-------------------------+ | http://blog.test.com.cn | +-------------------------+ 1 row in set (0.00 sec) 1>telnet 192.168.1.184 11900 Trying 192.168.1.184... Connected to 192.168.1.184 (192.168.1.184). Escape character is '^]'. get 1 VALUE 1 0 23 http://blog.test.com.cn END

3）删除表urls中的数据，然后查看Memcached是否也将该数据删除了。

mysql>delete from test.urls where id=1; Query OK, 1 row affected, 1 warning (0.00 sec) Rows matched: 1 Changed: 1 Warnings: 0 mysql> select memc_get('1'); +---------------+ | memc_get('1') | +---------------+ | NULL | +---------------+ 1 row in set (0.00 sec) 1>telnet 192.168.1.184 11900 Trying 192.168.1.184... Connected to 192.168.1.184 (192.168.1.184). Escape character is '^]'. get 1 END

3.4.4　使用memcached_functions_mysql的经验与技巧memcached_functions_mysql使用起来比较简单，但是由于环境的差别，在实践过程中可能会遇到诸多的问题。下面总结了一些在使用memcached_functions_mysq过程中可能出现的问题和注意事项。

MySQL重启问题如果MySQL服务器出现重启，需要重新设置连接Memcached关系（SELECT memc_servers_set('192.168.1.184:11900'))。

2.程序BUG问题memcached_functions_mysql的源程序有可能存在bug，并且会导致MySQL的失败。针对这个问题，读者要尽量选择源程序的稳定版本。3.网络因素网络因素是指MySQL和Memcached是否处在同一个IDC、它们之间的网络性能是否很好。网络性能越好，则速度越快。使用本机的Memcached可以适当减少网络开销。4.插入的数据量插入数据量的大小包含两个方面：向MySQL插入每条记录的大小，向Memcached中更新数据的大小。更新MySQL、Memcached的数据越大，更新的速度越慢。因此，要做好前期规划。5.延时问题如果MySQL所在的机器使用的资源比较大，会导致更新Memcached过于缓慢，即出现类似m/s的延时问题。6.容灾问题如果MySQL和Memcached中有宕机情况出现时，需要考虑怎么恢复，根据前一小节的测试可以这样考虑：建一张错误表，如果在更新mc时出现问题，自动把更新错误的记录插到这张表中，通过查询这张表，可以知道哪些数据在什么时间出现过更新错误。如果memcached_functions_mysql应用于生产环境，需要考虑监控和出现问题时的恢复工作（写好脚本以完善这个工作）。

MySQL自身因素如执行的MySQL语句的效率以及连接MySQL的client程序（php）的连接开销等，这些问题都需要考虑。相关资源：MySQL的源码安装及使用UDFs进行数据自动更新的教程

技术

最新回复(0)

《高性能Linux服务器构建实战》——3.4节通过UDFs实现Memcached与MySQL的自动更新...

3.4 通过UDFs实现Memcached与MySQL的自动更新

技术

3.4　通过UDFs实现Memcached与MySQL的自动更新