以采集起点中文小说网中(https://www.qidian.com/)的数据列表的数据为例:
一.网站结构
1.网站截图说明
采集起点中文网中的最近更新数据列表中的数据,如下图所示:
【列表数据页面】
2.采集结果截图
【采集出来的列表数据】
二.配置模板
- 新建任务
点击下一步,由于仅需要采集本页面表格数据,所以勾选【抽选数据】。
2.创建/选择表单
表单创建后可以重复选择使用,如果已有建好的表单,选择对应数据表单即可。如果没有,点击创建表单。
【创建表单】
根据所需内容,配置表单字段,此处配置了id(主键)、fenlei(小说类别)、shuming(小说名称)、zuixin(最新章节)、zuozhe(作者)、shijian(更新时间)等字段。
注意:采集表格/列表数据时,id(主键)设置的时候,选择自增主键。=>(字段各属性介绍)
方式一:快速建表。(点击【创建表单】出现弹窗。)
【配置表单】
方式二:自由建表。(在【数据建表】界面。)
【配置表单】
4.识别列表
选中表单后,chrl+点击表头第一个表格,后shift+点击其他表头扩大选取,直至所有表头均被选中,最后点击识别列表。
【识别列表】
【列表识别成功】
5.字段取值
①fenlei:通过字段定位取值,按ctrl+单击标题,确认选取。
②shuming:通过字段定位取值,按ctrl+单击标题,确认选取。
③其他字段按照同样的方法进行字段取值。
6.关联数据表
先创建一个数据表,如下图所示
再关联表单,勾选数据表。
7.模板预览
点击采集预览,进行预览。
【采集预览】
三.数据采集
- 运行设置
运行设置处可以设置采集速度、采集策略、任务装载等。
【运行设置】
2.选择采集任务
在【任务列表】中勾选需要采集的任务,可勾选多个任务,同时采集。
【选择采集任务】
3.开始采集
点击【开始采集】,系统开始进行采集。剩余任务数为0时,系统自动停止采集。用户也可以自己暂停任务或停止任务(停止任务会释放任务,再次启动时重新装载任务)。
【开始采集】
4.数据浏览
采集一段时间以后,点击【数据浏览】,在数据列表中选中对应的数据表,即可浏览采集到的数据,点击【刷新】按钮可以同步显示数据。
【数据浏览】
5.导出数据
点击【导出】按钮,选择导出文件格式后保存。
【导出数据】
相关推荐
大数据与数据采集大数据与数据采集
大数据背景下审计数据采集技术与方法的研究.docx大数据背景下审计数据采集技术与方法的研究.docx大数据背景下审计数据采集技术与方法的研究.docx大数据背景下审计数据采集技术与方法的研究.docx大数据背景下审计数据...
大数据实战Demo系统-MaxCompute数据仓库数据转换实践.pdf 大数据实战Demo系统-MaxCompute数据仓库数据转换实践.pdf 大数据实战Demo系统-MaxCompute数据仓库数据转换实践.pdf 大数据实战Demo系统-MaxCompute数据仓库...
大数据来源数据采集详情列表图-PPT模板.pptx
一种面向大数据主动防御的低损耗数据采集方法.pdf
324页11万字数字政府智慧政务大数据资源平台、大数据底座、数据治理、数据资源中心建设方案.docx
大数据与数据挖掘大数据与数据挖掘
大数据开发+数据技术+数据采集方法+数据分析攻击; 大数据开发是指一系列专门针对大规模数据集进行有效管理和分析的技术活动与工程实践。它涵盖了从数据的采集、存储、预处理、分析到结果呈现的完整生命周期,旨在...
中科院大数据系统与大规模数据集分析教程 大数据挖掘教程 2_大数据的背景与趋势 共7页.pdf
大数据技术分享 无线大数据 手机移动端大数据实践 数据采集与分析 共21页.pptx
35套选择题目:大数据架构、高性能、数据治理题目.docx,复习基本知识点必备
大数据实时数据采集架构
面向大数据的计量数据采集与应用研究.docx
大数据的计量数据采集与应用分析.docx
铁路客运大数据平台的数据采集技术研究.pdf
【完整课程列表】 Hadoop实验操作手册-1 共20页.pdf Hadoop实验操作手册-2 共73页.pdf 完整版 上海财经大学MEM课程 大数据与云计算技术教程 大数据处理平台和技术 10-大数据课程总结(共9页).pdf 完整版 上海财经...
【大数据】数仓5.0业务数据【大数据】数仓5.0业务数据【大数据】数仓5.0业务数据【大数据】数仓5.0业务数据【大数据】数仓5.0业务数据【大数据】数仓5.0业务数据【大数据】数仓5.0业务数据【大数据】数仓5.0业务数据...
金融大数据产教融合实验实训中心项目建设方案.pdf