想學Python,又想研究下memcached的用戶端,于是拿Python-memcached研究研究~~~
1.memcached的安裝
請參考本博另一文章《Linux下安裝memcached》
啟動一個memcached執行個體:memcached -m 10 -p 12000
2.Python-memcached安裝
到ftp://ftp.tummy.com/pub/python-memcached/下載下傳最新版本的API,并解壓tar包
輸入python setup.py install指令進行安裝
3.小例子示範
将memcached.pyc拷貝到工作目錄
#!/usr/bin/env python
import memcache
mc = memcache.Client(['127.0.0.1:12000'],debug=0)
mc.set("foo","bar")
value = mc.get("foo")
print value
輸出得到bar
4.Python-memcached API總結
整個memcache.py隻有1241行,相當精簡
主要方法如下:
@set(key,val,time=0,min_compress_len=0)
無條件鍵值對的設定,其中的time用于設定逾時,機關是秒,而min_compress_len則用于設定zlib壓縮(注:zlib是提供資料壓縮用的函式庫)
@set_multi(mapping,time=0,key_prefix='',min_compress_len=0)
設定多個鍵值對,key_prefix是key的字首,完整的鍵名是key_prefix+key, 使用方法如下
>>> mc.set_multi({'k1' : 1, 'k2' : 2}, key_prefix='pfx_') == []
>>> mc.get_multi(['k1', 'k2', 'nonexist'], key_prefix='pfx_') == {'k1' : 1, 'k2' : 2}
@add(key,val,time=0,min_compress_len=0)
添加一個鍵值對,内部調用_set()方法
@replace(key,val,time=0,min_compress_len=0)
替換value,内部調用_set()方法
@get(key)
根據key去擷取value,出錯傳回None
@get_multi(keys,key_prefix='')
擷取多個key的值,傳回的是字典。keys為key的清單
@delete(key,time=0)
删除某個key。time的機關為秒,用于確定在特定時間内的set和update操作會失敗。如果傳回非0則代表成功
@incr(key,delta=1)
自增變量加上delta,預設加1,使用如下
>>> mc.set("counter", "20")
>>> mc.incr("counter")
21
@decr(key,delta=1)
自減變量減去delta,預設減1
5._set方法
很多方法内部都調用了_set方法,其源碼如下:
def _set(self, cmd, key, val, time, min_compress_len = 0):
self.check_key(key)
server, key = self._get_server(key)
if not server:
return 0
self._statlog(cmd)
store_info = self._val_to_store_info(val, min_compress_len)
if not store_info: return(0)
if cmd == 'cas':
if key not in self.cas_ids:
return self._set('set', key, val, time, min_compress_len)
fullcmd = "%s %s %d %d %d %d\r\n%s" % (
cmd, key, store_info[0], time, store_info[1],
self.cas_ids[key], store_info[2])
else:
fullcmd = "%s %s %d %d %d\r\n%s" % (
cmd, key, store_info[0], time, store_info[1], store_info[2])
try:
server.send_cmd(fullcmd)
return(server.expect("STORED") == "STORED")
except socket.error, msg:
if isinstance(msg, tuple): msg = msg[1]
server.mark_dead(msg)
return 0
注: memcached 的用戶端使用TCP連結與伺服器通訊, 一個運作中的memcached伺服器監視一些端口, 用戶端連接配接這些端口,發送指令到伺服器,讀取回應,最後關閉連接配接。(具體指令請參考《Memcached 協定中文版》)
6.python-memcached線程安全
本部分轉自http://weavesky.com/2009/01/22/is-python-memcached-threadsafe/
python-memcached是不是線程安全的
答案是肯定的,前提你在使用Python 2.4+和python-memcached 1.36+
為什麼我們需要線程安全的memcached client,因為我們的實際應用一般是多線程的模型,例如cherrypy、twisted,如果python-memcached不是線程安全的話,引起的問題不僅僅是并發修改共享變量這麼簡單,是外部socket連結的資料流的混亂
python-memcached怎麼實作線程安全的呢?檢視源代碼看到
try:
# Only exists in Python 2.4+
from threading import local
except ImportError:
# TODO: add the pure-python local implementation
class local(object):
pass
class Client(local):