天天看点

Redis源码学习简记(六)intset原理与个人理解

intset是一个对内存空间锱铢必较的有序set。使用一段连续的内存空间存储一段数据。看起来有点像数组的形式。

数据结构

typedef struct intset {
    uint32_t encoding;//编码的方式 分为int16 int32 int64
    uint32_t length;//数据的个数
    int8_t contents[];//存储数据的点。int8_t与char 所用的字节数相同
} intset;
           

|   encoding   |   length  |   contents[]  |

encoding 4字节的长度。存储2,4,8其中一个。

length  整数存储的个数。

contents 数据存储的起点。

数据结构看起来还是挺简单的,那么我们看看其实现过程吧。

具体的API

创建一个新的set,默认使用2位16字节的int -32678~32676

这里面的interv32ifbe 是一个转换数据大小端,根据计算机的结构把所有的数据都变成以小端存储,即高位存高位数据

而大端则是高位存低位数据刚好与小端相反

intset *intsetNew(void) {
    //新建intset
    intset *is = zmalloc(sizeof(intset));
    is->encoding = intrev32ifbe(INTSET_ENC_INT16);
    //默认编码为16.
    is->length = 0;
    return is;
}
           

根据传进去的len重新设置长度

/* Resize the intset */
static intset *intsetResize(intset *is, uint32_t len) {
    //重新设置大小
    uint32_t size = len*intrev32ifbe(is->encoding);
    is = zrealloc(is,sizeof(intset)+size);
    return is;
}
           

接下来是查找某个整数的操作,由于数据是有序的,利用二分法进行查找。

static uint8_t intsetSearch(intset *is, int64_t value, uint32_t *pos) {
    int min = 0, max = intrev32ifbe(is->length)-1, mid = -1;
    int64_t cur = -1;

    /* The value can never be found when the set is empty */
    if (intrev32ifbe(is->length) == 0) {
        if (pos) *pos = 0;
        return 0;
    } else {
        /* Check for the case where we know we cannot find the value,
         * but do know the insert position. */
        //判断是否在最前或者最后
        if (value > _intsetGet(is,intrev32ifbe(is->length)-1)) {
            if (pos) *pos = intrev32ifbe(is->length);
            return 0;
        } else if (value < _intsetGet(is,0)) {
            if (pos) *pos = 0;
            return 0;
        }
    }

    while(max >= min) {
        mid = ((unsigned int)min + (unsigned int)max) >> 1;
        //相当于除以2 而且不会溢出。
        cur = _intsetGet(is,mid);
        //获取到中间的元素,二分法
        if (value > cur) {
            min = mid+1;
        } else if (value < cur) {
            max = mid-1;
        } else {
            break;
        }
    }

    if (value == cur) {
        if (pos) *pos = mid;
        return 1;
    } else {
        if (pos) *pos = min;
        return 0;
    }
    //找到返回1。pos指向找到的数据,找不到返回0,pos指向前一个数据。插入的时候会用到该特性
}
           

升级数据(将存储的位数增加),而升级由value所决定,并且将value添加到set中。

每次升级数据都要重新升级所有数据存储的位数,然后在头部,或者尾部对数据进行插入。

/* Upgrades the intset to a larger encoding and inserts the given integer. */
static intset *intsetUpgradeAndAdd(intset *is, int64_t value) {
    uint8_t curenc = intrev32ifbe(is->encoding);
    uint8_t newenc = _intsetValueEncoding(value);
    int length = intrev32ifbe(is->length);
    int prepend = value < 0 ? 1 : 0;
    //用于存储由value造成的溢出是下限还是上限,然后决定插入的是头还是尾

    /* First set new encoding and resize */
    is->encoding = intrev32ifbe(newenc);
    //重新设置编码类型
    is = intsetResize(is,intrev32ifbe(is->length)+1);
    //重新分配容量

    /* Upgrade back-to-front so we don't overwrite values.
     * Note that the "prepend" variable is used to make sure we have an empty
     * space at either the beginning or the end of the intset. */
    while(length--)
        _intsetSet(is,length+prepend,_intsetGetEncoded(is,length,curenc));
    //拿到原来的最后一个元素,然后插入到新的位置中

    /* Set the value at the beginning or the end. */
    //需要升级的情况是value会造成溢出,那么value智能放在头结点或者尾节点。
    //然后根据正负进行在前面插入还是后面插入
    if (prepend)
        _intsetSet(is,0,value);
    else
        _intsetSet(is,intrev32ifbe(is->length),value);
    is->length = intrev32ifbe(intrev32ifbe(is->length)+1);
    //设置长度
    return is;
}
           

根据from与to移动数据。具体是把from节点到尾部的所有数据移动到to节点的后面。

static void intsetMoveTail(intset *is, uint32_t from, uint32_t to) {
	/*
		把from后面的所有元素移到to元素后面
		若form大于to 则删除了to —— from 之间的元素
		若from等于to 没变化
		若from小于to 那么则空出了to—from 那么多个元素

		a[0]a[1]a[2]a[3]a[4]a[5]
		假设from为3 to为2
		意思就是把3后面所有的元素移到第2个元素后面那么结果为
		a[0]a[1]a[3]a[4]a[5]


	*/
    void *src, *dst;
    uint32_t bytes = intrev32ifbe(is->length)-from;
    uint32_t encoding = intrev32ifbe(is->encoding);
    //下面根据编码获取到copy点
    //与拷贝的数量即from后面元素的所有数据。
    if (encoding == INTSET_ENC_INT64) {
        src = (int64_t*)is->contents+from;
        dst = (int64_t*)is->contents+to;
        bytes *= sizeof(int64_t);
    } else if (encoding == INTSET_ENC_INT32) {
        src = (int32_t*)is->contents+from;
        dst = (int32_t*)is->contents+to;
        bytes *= sizeof(int32_t);
    } else {
        src = (int16_t*)is->contents+from;
        dst = (int16_t*)is->contents+to;
        bytes *= sizeof(int16_t);
    }
    memmove(dst,src,bytes);
}
           

添加元素,该操作会先判断插入的元素是否查过set的编码,然后跟插入排序一样,插入点后面的数据整体后移。

具体实现观察代码即可。

/* Insert an integer in the intset */
intset *intsetAdd(intset *is, int64_t value, uint8_t *success) {
	//添加元素

    uint8_t valenc = _intsetValueEncoding(value);
    //获取编码
    uint32_t pos;
    if (success) *success = 1;

    /* Upgrade encoding if necessary. If we need to upgrade, we know that
     * this value should be either appended (if > 0) or prepended (if < 0),
     * because it lies outside the range of existing values. */
    if (valenc > intrev32ifbe(is->encoding)) {

    	//看看是否要升级元素的值

        /* This always succeeds, so we don't need to curry *success. */
        return intsetUpgradeAndAdd(is,value);
        //插入点不是头就是尾 所以连起来做
    } else {
    	//若不需要则查找插入点
        /* Abort if the value is already present in the set.
         * This call will populate "pos" with the right position to insert
         * the value when it cannot be found. */
        if (intsetSearch(is,value,&pos)) {
        	//当元素存在则不插入 说明该set是不重复的
        	//返回失败
            if (success) *success = 0;
            return is;
        }
        //查找失败后 pos为插入点

        is = intsetResize(is,intrev32ifbe(is->length)+1);
        //重新分配空间
        if (pos < intrev32ifbe(is->length)) intsetMoveTail(is,pos,pos+1);
        //移位空出pos的位置
    }

    _intsetSet(is,pos,value);
    //设置值
    is->length = intrev32ifbe(intrev32ifbe(is->length)+1);
    //重置length
    return is;
}
           

删除数据同样会重新分配数据长度,然后删除点整体前移,然后再进行容量的resize。使用时间换空间的做法。这样节省几位带来的是大量的时间复杂度,这到底好与坏要看具体情况了。

/* Delete integer from intset */
intset *intsetRemove(intset *is, int64_t value, int *success) {
	//删除某个元素
    uint8_t valenc = _intsetValueEncoding(value);
    //获取编码
    uint32_t pos;
    if (success) *success = 0;

    if (valenc <= intrev32ifbe(is->encoding) && intsetSearch(is,value,&pos)) {
    	//保证元素编码值小于编码最大值,然后查找成功。
    	//接下来就是做删除操作
        uint32_t len = intrev32ifbe(is->length);

        /* We know we can delete */
        if (success) *success = 1;

        /* Overwrite value with tail and update length */
        if (pos < (len-1)) intsetMoveTail(is,pos+1,pos);
        //通过movetial 复写了要删除的元素,并且长度会减少
        is = intsetResize(is,len-1);
        //重新分配空间。真是锱铢必较,但是效率很低
        //一次删除要移动n+(length-pos)的元素
        is->length = intrev32ifbe(len-1);
        //设置长度
    }
    return is;
}
           

intset的具体操作大概就到这里了。