转自:https://mp.weixin.qq.com/s/Nmz5LiHFFZTW0GyuSuKHoA?spm=ata.13261165.0.0.360a6093wXKkhs
阿里妹导读:随着最近几年数据计算力与机器智能算法的兴起,基于大数据 AI 算法的应用愈来愈热,大数据应用在各个行业也不断涌现。测试技术作为工程技术的一部分,也随着时代的不断变化在同步演进,在当下 DT 时代,如何测试和保障一个基于大数据的应用的软件质量,成为测试界的一个难题。
本文通过系统性地介绍阿里巴巴 AI 中台的技术质量体系——搜索推荐广告应用的质量是如何测试的,来尝试回答一下这个问题,希望能给大家带来一些借鉴,欢迎斧正,以便改进。
一 前言
最近十年来,随着移动互联网和智能设备的兴起,越来越多的数据被沉淀到各大公司的应用平台之上,这些包含大量用户特征和行为日志的数据被海量地存储起来,先经过统计分析与特征样本提取,然后再经过训练就会产出相应的业务算法模型,这些模型就像智能的机器人,它可以精准地识别和预测用户的行为和意图。
如果把数据作为一种资源的话,互联网公司与传统公司有着本质的不同,它不是资源的消耗者,而是资源的生产者,在平台运营的过程中不停地在创造新的数据资源,并且随着平台的使用时长和频率的增加,这些资源也在指数级地增长。平台通过使用这些数据和模型,又反过来带来更好的用户体验和商业价值。2016 年,AlphaGo,一个基于深度神经网络的围棋人工智能程序,第一次战胜围棋世界冠军李世石。这个由谷歌(Google)旗下 DeepMind 公司开发的算法模型,背后使用的数据正是人类棋手所有的历史棋谱数据。
阿里的搜索、推荐和广告也是非常典型的大数据应用的场景(高维稀疏业务场景),在谈如何测试之前我们需要先了解一下平台处理数据的工程技术背景。搜索、推荐、广告系统在工程架构和数据处理流程上比较相近,一般分为离线系统和在线系统两部分,见下图 1(在线广告系统一般性架构,刘鹏《计算广告》)。离线系统负责数据处理与算法模型的建模与训练,而在线系统主要用以处理用户的实时请求。在线系统会使用离线系统训练产出的模型,用以实时的在线预测,例如预估点击率。
分享到:
相关推荐
大数据-算法
针对K最近邻算法测试复杂度至少为线性,导致其在大数据样本情况下的效率很低的问题,提出了一种应用于大数据下的快速KNN分类算法。该算法创新性地在K最近邻算法中引入训练过程,即通过线性复杂度聚类方法对大数据...
程序均是实战案例,经过测试可直接运行。 全国大学生电子设计竞赛(National Undergraduate Electronics Design Contest),试题,解决方案及源码。计划或参加电赛的同学可以用来学习提升和参考。程序均是实战案例...
大数据-算法-应用于平台型数据融合测试床的构件技.pdf
大数据-算法-应用于平台型数据融合测试床的构件技术研究.pdf
大数据-算法-冻土断裂破坏准则与参数测试及其应用研究.pdf
大数据-算法
大数据-算法
基于大数据技术的信号检测算法.pdf
2016 赤 峰 学 院 学 报渊 自 然 科 学 版 冤 Journal of Chifeng University渊 Natural Science Edition冤 第 32 卷 第 7 期 渊 下冤 2016 年 7 月 大数据应用发展及挑战 白 晟袁 李荣香 渊东北石油大学袁 河北 ...
本资源是经过本地编译测试、可打开、可运行的项目、文件或源码,可以用于毕业设计、课程设计的应用、参考和学习需求,请放心下载。 祝愿你在这个毕业设计项目中取得巨大进步,顺利毕业! 但还需强调一下,这些项目...
3.项目包括4个模块:文件读入、推荐算法、应用模块和测试调用函数。其中文件读入部分主要是读取用户的肤质特征、诉求以及过敏成分,同时导入5个数据集文件,分别是用户数据集、产品主要成分表、功能表、禁忌搭配成分...
包括:大数据需求分析、平台选择、技术架构设计、应用设计和开发、应用测试和部署等大数据实施全流程的跟踪,并在实施过程中带领技术团队,为设计和开发大规模集群的数据处理系统提供技术和管理。 技术研发类 大数据...
此外,基于成熟的医疗大数据技术,医保、商保机构还可以轻松地发现骗保行为,并通过相关数据的反馈和算法迭代,从而不断优化算法,持续提高对异常申报行为预警的准确性和时效性。 5. 新型健康产品创新方面 随着医疗...
【目标受众】: 本项目适合IT相关专业各种计算机技术的源代码和项目资料,如计科...这种互动式的学习方式有助于形成良好的学习氛围,促进知识的共享和传播,为计算机相关专业的学习者提供了一个全面的学习和发展平台。
为了对数字电视用户浏览行为进行有效分析,提出了应用于数字电视用户浏览行为的二分K-medoids算法。针对欧氏距离容易丢失数据信息、受异常值影响较大的缺点,利用云相似度对聚类算法进行了改进,减少异常数据等不...
基于YoloV5的火灾检测系统python代码(将深度学习算法应用于火灾识别与检测领域,实现图像中火灾区域的定位).zip基于YoloV5的火灾检测系统python代码(将深度学习算法应用于火灾识别与检测领域,实现图像中火灾区域...
可能在几年前,算法对于普通民众来说还是一个略带神秘的字眼,但随着智能设备、智能应用、智慧生活的逐渐普及深入,现在我们已经生活在一个算法无所不在的世界里。那么如何来认识算法,如何看待经由算法产生的各种...
以及提高性能 细分人群来定制行为 利用自动化算法取代或支持人工决策 开发新的商业模式、产品和服务 3、大数据的应用将会成为今后私营企业竞争和发展的一个关键基础 大数据介绍全文共49页,当前为第3页。 我们如何...
4、项目中采用完全还原企业大数据项目开发场景的方式来讲解,每一个业务模块的讲解都包括了需求分析、方案设计、数据设计、编码实现、功能测试、性能调优等环节,真实还原企业级大数据项目开发场景。 模块简介: 1、...