《推荐系统实践》第2章利用用户行为数据 学习笔记

第2章：利用用户行为数据

日志存储在分布式数据仓库中，分为： 1、展示日志； 2、点击日志。

分布式数据仓库： 1、支持离线分析：Hadoop Hive 2、支持在线分析：Google Dremel

用户行为： 1、显性反馈行为：评分和喜欢/不喜欢 2、隐形反馈行为：页面浏览记录

正反馈：用户喜欢该物品 负反馈：用户不喜欢该物品

协同过滤算法（仅仅基于用户行为数据）： 1、基于邻域的方法 1）基于用户：推荐和他兴趣形似的其他用户喜欢的物品 2）基于物品：推荐和他之前喜欢的物品相似的物品 2、隐语义模型 3、基于图的随机游走算法

评测推荐系统有3种方法： 1、离线实验 2、用户调查 3、在线实验

长尾分布：

协同过滤算法的离线实验一般如下设计： 1、将用户行为数据集按照均匀分布随机分成M份，挑选一份作为测试集，将剩下的M-1份作为训练集。 2、在训练集上建立用户兴趣模型，并在测试集上对用户行为进行预测，统计出相应的评测指标。 注：为了保证评测指标并不是过拟合的结果，需要进行M次实验，并且每次都使用不同的测试集。然后将M次实验测出的评测指标的平均值作为最终的评测指标。

将数据集随机分成训练集和测试集：

def SplitData(data,M,k,seed): test = [] train = [] random.seed(seed) for user, item in data: if random.randint(0,M) == k: test.append([user,item]) else: train.append([user, item]) return train ,test

这里，每次实验选取不同的k（0<=k<=M-1)和相同的随机种子seed，进行M次实验就可得到M个不同的训练集和测试集，然后分别进行实验，用M次实验的平均值作为最后的评测指标。这样做主要事防止某次实验的结果是过拟合的结果。

评测指标： 1、召回率：描述有多少比例的用户-物品评分记录包含在最终的推荐列表中 2、准确率：描述最终的推荐列表中有多少比例是发生过的用户-物品评分记录 3、覆盖率：反应了推荐算法发掘长尾的能力，覆盖率越高，说明推荐算法越能将长尾中的物品推荐给用户 召回率、准确率、覆盖率的计算方法：

def Recall(train,test,N): hit=0 all=0 for user in train.keys(): tu=test[user] rank=GetRecommendation(user,N) for item,pui in rank: if item in tu: hit += 1 all += len(tu) return hit/(all*1.0) def Precision(train,test,N): hit=0 all=0 for user in train.keys(): tu=test[user] rank = GetRecommendation(user,N) for item,pui in rank: if item in tu: hit += 1 all += N return hit/(all*1.0) def Coverage(train,test,N): recommend_items = set() all_items = set() for user in train.keys(): for item in train[user].keys(): all_items.add(item) rank = GetRecommendation(user,N) for item,pui in rank: recommend_items.add(item) return len(recommend_items)/(len(all_items)*1.0)

基于物品的协同过滤算法主要分为两步： 1、计算物品之间的相似度。 2、根据物品的相似度和用户的历史行为给用户生成推荐列表。