课题1
毕业设计里面涉及到人员相关度的计算，在这里我提出了一个猜想，大致如下：
现有数据：学生id、学生手机mac地址、时间戳、地点id
构想：通过学生mac地址某地点出现频次，构建频次矩阵，比如说现有六个地点，ABCDEF，某学生出现的频次分别为1、5、2、4、7、3，则[1,5,2,4,7,3]即为该学生在矩阵中的表现形式。(总的来说就是讲每个学生的出现频次规律抽象成一个向量，该向量由n个Term组成，每个Term都有一个权重，不同的频次根据学生在总矩阵中影响相关度的权重)
实现步骤：
1.数据预处理，建立空间向量模型，表现形式为:[[3,4,1,5,6,7],[6,4,5,5,2,1],......]；
2.特征抽取完之后，对矩阵进行正则化处理。
3.计算余弦相似度。
image.png
分子：两个向量的点乘积
分母：两个向量的模的乘积
知识点：
1.利用python进行矩阵的正则化
正则化的过程是将每个样本缩放到单位范数(每个样本的范数为1)，如果后面要使用如二次型(点积)或者其它核方法计算两个样本之间的相似性这个方法会很有用。
Normalization主要思想是对每个样本计算其p-范数，然后对该样本中每个元素除以该范数，这样处理的结果是使得每个处理后样本的p-范数(l1-norm,l2-norm)等于1。
p-范数的计算公式：||X||p=(|x1|^p+|x2|^p+...+|xn|^p)^1/p
该方法主要应用于文本分类和聚类中。例如，对于两个TF-IDF向量的l2-norm进行点积，就可以得到这两个向量的余弦相似性。
sklearn数据预处理函数：
from sklearn import preprocessing
2.python字典排序
知识点参照：python字典排序
python代码
# -*- coding: UTF-8 -*-
__author__ = 'Suzibo'
import numpy as np
import pandas as pd
from sklearn import preprocessing
from sklearn import feature_extraction
#from sklearn.feature_extraction.text import TfidfTransformer
#from sklearn.feature_extraction.text import CountVectorizer
arr = np.array([[3,5,3,0,5,5],
[3,4,3,3,5,1],
[5,7,8,12,1,0],
[5,1,3,1,1,2],
[0,7,3,1,5,1],
[7,1,2,3,6,1],
[0,9,2,1,4,1],
[3,0,3,1,0,5]])
#模拟了ABCDEF六个感知点，对应的八个人的频次矩阵。TAT，因为迟迟拿不到数据，只能靠自己模拟数据玩玩了，惨_(:з」∠)_
arr_normalized = preprocessing.normalize(arr)
#将原始矩阵正则化
result = np.zeros(((len(arr)-1),2))
n=0
#初始化结果矩阵(N行2列的0矩阵)
a=dict()
#初始化字典
for i in range(1,len(arr)):
#比较第一名同学跟其他同学的余弦相似度
num = np.sum(arr_normalized[0]*arr_normalized[i])
#向量乘积
denom = np.linalg.norm(arr_normalized[0]) * np.linalg.norm(arr_normalized[i])
#向量模的乘积
cos = num/denom
sim = 0.5 + 0.5*cos
#结果归一化
result[n][0]=i
result[n][1]=sim
n=n+1
#结果存入数组
a[i] = sim
#结果存入字典
print result
print sorted(a.iteritems(),key=lambda asd:asd[1],reverse=True)
#在这里，用了字典对象a以及初始化了数组result分别存储计算结果。其实两种方法皆可，但是字典排序写起来更加快速。
result:
[[ 1. 0.92443667]
[ 2. 0.7434795 ]
[ 3. 0.85627822]
[ 4. 0.91615085]
[ 5. 0.84737882]
[ 6. 0.88826077]
[ 7. 0.83610165]]
sorted(a.iteritems(),key=lambda asd:asd[1],reverse=True):
[(1, 0.9244366688881116), (4, 0.91615085086634984), (6, 0.88826076864678882), (3, 0.85627822353819516), (5, 0.84737881773469248), (7, 0.83610165222088828), (2, 0.74347950132065999)]