在介绍推荐系统指标之前,首先看一下计算和获得这些指标的主要实验方法。在推荐系统中,主要有三种评测推荐效果的实验方法,即离线实验(offline experiment) 用户调查(user study)和在线实验 (online experiment) .
1. 离线实验
(1) 通过日日志收集用户行为数据,并按照一定的格式生成一个标注的数据集。
(2)按照一定的规则将数据集划分为训练集和测试集。
(3) 在训练集上训练用户兴趣模型, 在测试集上进行测试。
(4) 通过事先定义的离线评测指标评测算法效果。
2. 用户调查
用户调查需要一批真实的用户, 让他们在需要的推荐系统上完成一些任务。在他们完成任务的,纪录他们的行为,并让他们回答一些问题。 最后,我们通过他们的行为和答案了解测试系统的性能。
3. 在线实验
完成以上两个步骤之后, 可以在推荐系统上做一个 AB test,将他和旧的系统进行对比。
附上AB test 网站(http://www.abtests.com)
AB test 可以公平的获取不同算法在实际在线时候的性能指标,包括商业上关注的指标。
一个简答的AB test 系统,用户进入网站之后,会给用户打上在测试种属于哪个分组的标签,然后用户浏览网页的时候,行为会通过日志系统发送到后台的日志数据库。 在后台,实验人员首先配置流量分配系统。 其次,实验人员需要统计日志数据库种的数据,生成测试数据,比较结果。
评测指标
1. 用户满意度
2. 预测准确度
1) 评分预测
2) TopN推荐
3. 覆盖率
4. 多样性
5. 新颖性
6. 惊喜度
7. 信任度
8. 实事性
9. 健壮性
相关推荐
针对断面监视系统的一般工作原理,提出了一种断面监视...最后按照角度偏差、位置偏差和形状偏差三类指标对实际断面轮廓和设计断面轮廓进行比较,完成对断面监视系统的性能评价。试验结果验证了该方法的有效性和正确性。
基于协同过滤的推荐系统算法研究项目...实验结果表明,K值和算法的各项评测指标也不完全成正相关或负相关,选择合适的K值获得最高精准度是非常重要的。 关键词:推荐系统;协同过滤;用户相似度; UserCF; ItemCF
* 通达信系统是一种股票市场分析软件,提供了多种技术指标和分析工具。 * 该系统可以帮助投资者分析股票的走势和风险,进行投资决策。 知识点3:选股策略 * 选股策略是投资者选择股票的方法,旨在选出潜在的获利...
PAM编译码器系统 ...4、 熟悉语音数字化技术的主要指标及测量方法; 二、实验仪器 1、 JH5001通信原理综合实验系统 一台 2、 20MHz双踪示波器 一台 3、 函数信号发生器 一台 4、 音频信道传输损伤测试仪 一台
本研究以山东省冬小麦为例,对应用"3414"试验结果建立磷、钾推荐施肥技术指标体系的技术环节进行了系统探讨,并就当前建立指标体系建立过程中遇到的问题进行了解析。研究结果表明,当山东省土壤有效磷、速效钾含量...
为了探究软件方法对软件系统性能的影响...通过与现有指标的对比实验,验证了PRW指标能够更加准确地对软件方法的重要性进行评估,也更适用于软件系统。PRW值较大的方法应该优先得到优化,这样可以有效提升软件系统性能。
对煤矿安全监控系统可靠性指标测定中失效范围的确定、试验系统规模的限定、试验应力的设计、试验方案的选择等关键问题提出了一些设想,提出了2种煤矿安全监控系统可靠性指标测定方法,即直接测试法和间接测定法,并比较...
* 验证性实验1个:运用中国电科院的全数字电力系统综合仿真试验装置进行,初步计划,包括220kV变电站日常运行维护以及倒闸操作、重合闸操作和三段式继电保护操作 * 创新性实验2个:主要培养学生的创新精神,包括设计...
实验结果表明,系统提供的推荐文献具有较高的可信度。 在该系统中,我们提出了信息的客观性评价、可理解性评价和社会公平评价指标。信息的客观性评价要求公共信息必须能反映政务活动的客观事实;信息的可理解性评价...
3)课题要求:用户输入控制系统前项通道传递函数和反馈通道传递函数以及性能指标,绘制出校正前开环系统的BODE图,并给出稳定裕量和对应的频率。 判断该用哪种校正装置。给出校正装置的传递函数,在一幅图上显示校正...
基于单片机的小型随动系统控制算法,该程序为计算机控制系统实验课程序,实现对电机和模拟控制对象的控制。 该程序为.c文件通过ICC-AVR编译烧写入单片机后可正常运行,具体控制指标、控制算法实现以及实验报告,需要...
随着生产的发展和变化,工作面的推进和更替,巷道风阻、网络结构及所需的风量均在不断变化,相应地要求...并给出了具体的需风分支可调性和通风系统可调性计算的方法。为矿井通风系统风量调节难易程度评价提供了定量指标。
为研究充填墙强度和宽度对巷道变形的影响,确定合理的巷旁充填参数,建立了充填墙承载结构模型,并基于多指标分析,运用全面试验设计,精确分析了充填墙强度、宽度两因素四水平对沿空留巷充填墙水平位移H、顶板下沉...
针对托攻击提出一种半监督托检测模型,对标记用户分类计算簇中心,给出中心用户相似度特征属性。对不同攻击选择合适的特征指标,把输入用户划分到不同的簇...实验证明,该检测算法对不同的托攻击有较高的检测准确率。
实验一:实验平台操作基础 一、实验目的: (一)了解实验平台的组成和各个模块的原理和功能; (二)熟悉实验平台的操作; (三)预习接下来的四个实验,熟悉实验中...(四)学习BPSK系统主要性能指标的测试方法。
“North Star Metric” 北极星指标。何为北极星指标,在纷繁的产品世界里该如何利用北极星指标来照耀着我们走到终点,杀出...通过这一个目标,你可以知道公司的状况,有针对性地上线各种项目和试验,然后观察有无成效。
1.掌握线性定常系统动态性能指标的测试方法。 2.研究线性定常系统的参数对其动态性能和稳定性的影响。 实验内容: 1.观测二阶系统的阶跃响应,并测出其超调量和调整时间。 2.调节二阶系统的开环增益K,使系统的...
自行选择二阶系统模型及参数,设计实验程序及步骤仿真研究二阶系统参数( , )对系统时域响应特性的影响;研究二阶系统分别附加一个极点、一个零点后对系统时域响应特性的影响;根据实验结果,总结各自的响应规律。
以煤炭自燃指标气体浓度参数的实时测量为背景,设计了一种利用通用分组无线业务(GPRS)技术与MSP430F149单片机相结合的气体浓度无线监测系统,该系统主要由气体传感模块、数据采集与处理模块和通信模块组成。...
运用上述方法,针对某350 MW燃煤电站锅炉进行具体能效评价,分析表明:该锅炉效率指标和燃料管理指标较高,属于良好等级;但由于NOx排放较多,环保指标仅为中等,脱硝系统的投入率以及效率都应增强。该分析结果与机组实际...