天天看點

簡單實作redis資料實時插入MySQL過程

   為什麼要把REDIS已經持久化的資料還要插入MySQL呢,原因就不說了.....相信大神各有見解.....

首先來了解基礎資訊:

一一般來說,消息隊列有兩種場景:一種是釋出者訂閱者模式;一種是生産者消費者模式。利用redis這兩種場景的消息隊列都能夠實作,定義:

  • 生産者消費者模式:生産者生産消息放到隊列裡,多個消費者同時監聽隊列,誰先搶到消息誰就會從隊列中取走消息;即對于每個消息隻能被最多一個消費者擁有。(常用于處理高并發寫操作)
  • 釋出者訂閱者模式:釋出者生産消息放到隊列裡,多個監聽隊列的消費者都會收到同一份消息;即正常情況下每個消費者收到的消息應該都是一樣的。(常用來作為日志收集中一份原始資料對多個應用場景)
    簡單實作redis資料實時插入MySQL過程
    該方式借助redis的list結構實作的,aa調用redis的lpush/rpush往特定key裡塞入消息,Consumer調用brpop(阻塞方法)去不斷監聽該key。(aa為後面代碼使用的key)
  • ###list實作的原則是FIFO

二、實作阻塞隊列的原理

  • redis中有一個blpop、brpop的指令,阻塞的從清單(list)中取資料,當清單為空,則阻塞知道取到資料或逾時。
  • blpop指令後面參數中可以跟多個list的key,内部是按照順序進行通路的,基于這個原理可以實作高優先級隊列。

三、簡單實戰過程

    ##最好安裝一個PYCHARM的程式設計小工具,實用

簡單實作redis資料實時插入MySQL過程

    實戰要求:一台redis伺服器、一個DB執行個體即可、一個簡單的python腳本、一個簡單驗證

LET 'S GO.....

簡單實作redis資料實時插入MySQL過程
簡單實作redis資料實時插入MySQL過程

1、redis伺服器(精簡操作)

    a、測試環境直接用yum安裝即可使用:yum -y  install redis

    b、登入redis指令為:redis-cli

簡單實作redis資料實時插入MySQL過程

c、具體更多操作請度娘去

2、MySQL安裝(略),

    a、安裝好後,添加庫和表,後面的腳本會用到。

    b、事例庫表為

簡單實作redis資料實時插入MySQL過程

Create Table: CREATE TABLE `redis_data` (

  `id` int(11) NOT NULL AUTO_INCREMENT,

  `id_type` varchar(20) DEFAULT NULL,

  `name` varchar(20) DEFAULT NULL,

  PRIMARY KEY (`id`)

) ENGINE=InnoDB AUTO_INCREMENT=1 DEFAULT CHARSET=latin1

#!/usr/bin/env python
#_*_ coding:utf-8 _*_      
import redis
import time
import json
import MySQLdb
import MySQLdb
pool=redis.ConnectionPool(host='192.168.60.21',port=6379,db=0)
r=redis.StrictRedis(connection_pool=pool)
#key='_'.join(["gamelog_queue",str(date),str(log),str(cmd),str(response),str(sname),str(uid)])
while True:
    aa=r.brpop("aa",0)

    if aa == None:
        continue

    #print "list brpop:",aa
    bb=aa[0]
    cc=aa[1]
    #print type(bb),cc
    value=[bb,cc]
    #print value
    try:
        dbcon = MySQLdb.connect(host='192.168.9.63', user='dlan', port=3306, passwd='root123', db='suo', charset='utf8')
        db_cursor = dbcon.cursor()
        db_insert="insert into redis_test.redis_data values(null,%s,%s)"
        db_cursor.execute(db_insert,value)
        db_cursor.execute('commit')
    except MySQLdb.Error, e:
        print "error%s", e
      
    1、從redis寫資料:lpush aa redis_mysql_python
    2、可以從PyCharm檢視,可以把#号去掉,就可以顯示
    3、到資料庫檢視
      

繼續閱讀