来源:https://plus.google.com/+VicNgrail/posts/ebS9JUtFopw。
Mongodb可以存储非结构化数据,要将这些数据导出为标准的结构化数据会存在一定的困难。用集算器结合MongoDB可以方便的导出标准化数据,下面看一下具体做法。
Collection test的部分数据如下:
/* 0 */
{
“_id” : ObjectId(“5518f6f8a82a704fe4216a43″),
“id” : “No1″,
“cars” : {
“name” : “Putin”,
“car” : ["porche", "bmw"]
}
}
/* 1 */
{
“_id” : ObjectId(“5518f745a82a704fe4216a44″),
“id” : “No2″,
“cars” : {
“name” : “jack”,
“car” : ["Toyota", "Jetta", "Audi"]
}
}
需要将其导出为CSV文件,格式如下:
集算器代码:
A1:连接MongoDB,连接字格式为mongo://ip:port/db?arg=value&…
A2:使用find函数从MongoDB中取数,形成游标。集合是test,过滤条件是空,取出_id之外的所有字段。集算器的find函数和mongdb的find函数类似,过滤条件的写法遵循mongodb规范。
A3:取出需要的字段,拼合成结构化二维表,结果仍然是游标。其中~表示A2中的每个document,函数conj表示纵向合并。
A4:将A3导出为逗号分隔的文本文件。@t表示导出时带列名。集算器引擎会自动管理缓存,每次从游标取一批记录到内存进行计算。
A4:关闭MongoDB。
如果用户想自己管理每批处理的数据,也可以用下面的代码:
A3:循环从游标读数,每次读1000条到内存。A3的作用范围是缩进的B3到B4,其间可以用A3来引用循环变量。A3中的数据如下:
B3:将本批次数据转换为结构化二维表,如下:
B4:将本批次的计算结果追加到文件中。@a表示追加。
相关推荐
export json to csv原因我们使用mongodb会经常导出jsonmongoexport -d xbm-wechat-api -c senddeliveryhistories -o senddeliveryhistories.json --jsonArray --query "{date:{\$in:['20150821','20150822']}}"但...
一、Mongodb导出工具mongoexport Mongodb中的mongoexport工具可以把一个collection导出成JSON格式或CSV格式的文件。可以通过参数指定导出的数据项,也可以根据指定的条件导出数据。 mongoexport具体用法 [root@...
mongodb文件导出csv的脚本, 使用OrderedDict制定有顺序的字段名, 极大方便了数据导出存储中啰嗦的字段重命名问题,字段缺失报错问题和字段排序问题. 根据项目实际情况进行配置和微调后即可使用.
使用 Papa Parse 将 JSON 数据导出为 CSV 格式 此 repo 的目的是说明如何将信息从 MongoDB 提取为 CSV 格式,非常适合与 3rd-party 库集成。 可以在我的上阅读详细的教程,非常感谢任何反馈。 还要查看,以查看您要...
5级省市联动数据,精确到社区。最新爬取,截止到2017年10月31日。原始数据是MongoDB数据,为了方便喜欢使用CSV的朋友,导出为CSV格式。上传的也有MySQL数据。
8.6.2 导出CSV格式的文件 8.7 数据导入mongoimport 8.7.1 导入JSON数据 8.7.2 导入CSV数据 8.8 数据备份和修复 8.8.1 数据文件备份 8.8.2 数据备份mongodump 8.8.3 数据恢复mongorestore ...
8.6.2 导出CSV格式的文件 8.7 数据导入mongoimport 8.7.1 导入JSON数据 8.7.2 导入CSV数据 8.8 数据备份和修复 8.8.1 数据文件备份 8.8.2 数据备份mongodump 8.8.3 数据恢复mongorestore ...
蒙古进口用于 mongoDB 的多线程 Java 文件加载器。 注意:在 v3.0 之前,此加载程序比工厂版本快得多。 v3.0 中的 mongoimport 工具(实际上是所有导入/导出实用程序)都使用批量 API 和多线程进行了重写,性能得到...
mongoexport-将集合的内容导出为JSON或CSV。 mongoimport-从JSON,CSV或TSV导入数据。 mongofiles-从GridFS放置,获取和删除文件。 mongostat-显示正在运行的mongod / mongos的状态。 bsondump-将BSON文件转换为...
您可以将存储在Mongo数据库中的记录导出到CSV文件。 安装 npm install @ dracaster / lushan - export - to - csv @ 1.0 .0 用法 const csv = require ( ‘lushan - export - to - csv’ ) ; 方法: exportCsv ( )...
使用 DbSchema(请支持正版:squinting_face_with_tongue:) 对数据进行可视化建模Demo10分钟内快速构建一个完整的应用Users:路由导航,用户列表,分页,全选,删除(2s 可撤销删除),导出 CSV 文件,点击表头排序...
这个工具很少有人会用,就是一个js脚本,直接使用mongo客户端执行。我个人最大的用途就是在你不知道多少字段名的情况下,把字段名查出来。...查出来的结果后,直接导出csv就可以得到所有的字段名了。
mongoexport命令行用于数据的导出,默认导出的文件格式为JSON格式。当然也可以指定特定的文件格式。 语法 C:\mongo\bin>mongoexport -help options: –help produce help message -v [ –verbose ] be more ...
先说下我操作的步骤。1.从sql2008的management studio查询5万条数据,使用右键导出为csv2.由于默认导出没有带列名,手工编辑后增加了列名3....换了一种做法,不使用导出csv,直接copy数据到excel然后另存为csv,一切
nodejs 版本 0.10.x 下载依赖项: npm install安装 MongoDB: sudo apt-get install mongodb如何调试: node-inspectornode --debug-brk crawler.js然后,转到如何运行: node crawler.js如何导出到 CSV: cd ...
nosqlbooster4mongo-5.2.10 mongodb客户端工具,支持导入导出csv,json 格式数据
从纯文本文件格式导入/导出数据。 我们致力于改善响应能力,可用性和性能。我们设计了一种全新的机制并应用了多线程,因此您可以并行运行某些任务以提高数据库开发的整体效率。 管理本地和云数据库,例如Amazon RDS...
数据库管理 - 使用 csv 文件导入和导出用户、问题和提交的数据。 评审系统 - 评审引擎、解决方案模板、提交历史、多程序语言支持。 编程语言 - 目前支持三种语言,包括 Java、Javascript 和 Python。 UI - ...
ETL_project 我们的... 加载:将结果组合成字典后,我们使用了Pandas数据框来组装字典,然后使用PyMongo将其加载到MongoDB中。 选择此表是因为数据最终是所有文本信息,而MongoDB是一个高效且有用的列表式对象系统。
主要功能包括: 从任何可以输出表格数据的数据源显示报告(SQL,MongoDB,PHP等) 以HTML,XML,CSV,JSON或您自己的自定义格式输出报告向报告添加可自定义的参数(例如开始日期和结束日期) 使用Google Data ...