原文链接:
http://click.aliyun.com/m/25126/
摘要: 大数据计算服务(MaxCompute,原名 ODPS,https://www.aliyun.com/product/odps)是一种快速、完全托管的 GB/TB/PB 级数据仓库解决方案。MaxCompute 向用户提供了完善的数据导入方案以及多种经典的分布式计算模型,能够更快速的解决用户海量数据计算问题,有效降低企业成本,并保障数据安全。
大数据计算服务(MaxCompute,原名 ODPS,https://www.aliyun.com/product/odps)是一种快速、完全托管的 GB/TB/PB 级数据仓库解决方案。MaxCompute 向用户提供了完善的数据导入方案以及多种经典的分布式计算模型,能够更快速的解决用户海量数据计算问题,有效降低企业成本,并保障数据安全。
ODPS分区字段一般来说都是重复性非常强的字段,比如说时间,某一天可能会产生几万条数据,把这一天产生的数据就存入到一个分区中,而时间(某天)就是分区字段,时间(某天)所在的列就是分区列。也就是说,基于分区列的数据作为一个纬度,进行了数据块的划分存储,加快查询速度。每一个分区块里面的数据是完整性的,而不是分区列里的一列或者几列数据。在ODPS中最多支持六级分区。也就是说partition by里面可以有六个字段可以设置为分区列,而且是有顺序的。比如说有两个分区列,sale_date和region , 那么这个表可能存在多少个分区呢?可能无数个,分区分为几级呢,两级。第一级为销售时间,第二级为区域。
Create table sale_detail(shop_name string, customer_id string , total_price decimal) partition by(sale_date string, region string);
Alter table sale_detail add partition (sale_date = ‘201703’, region=’hangzhou’);
其实可以理解更加简单一些,就是有个叫sale_detail的文件夹,下面存了一堆201703,201704...的文件夹,201703这个文件夹下面又存了一堆hangzhou、beijing、qingdao...的文件夹,这些文件夹里面存的是一条一条的数据,只不过数据都是基于时间和地域纬度的。想清楚了,就是一层窗户纸的事情。
_
作者:徽州七哥
原文地址:https://yq.aliyun.com/articles/72337
有奖活动:
万元大奖邀您参与阿里云数加 MaxCompute最佳实践征文大赛
原文链接:
http://click.aliyun.com/m/25126/
分享到:
相关推荐
阿里云MaxCompute ODPS文档
odps(MaxCompute) 权威详尽说明帮助手册,包括odps 底层优化原理
Java连接ODPS文档和代码
MaxCompute用户指南,阿里MaxCompute(原ODPS)用户指南
追加写入比较容易理解,覆盖写入是指,如果覆盖写入的表是非分区表,那清空这个表的内容然后用新的结果覆盖进去。如果是非分区表,那清空相关的分区,然后重新写入数据。本文各种场景下的的解决方法做一个说明。 ...
ODPS,又称ODPS,是由.net提供的分布式存储服务和SQL引擎。 这个仓库包含一个MaxCompute的Go。 如果你要写一个Go程序,调用标准库database/sql访问MaxCompute数据库,可以使用这个驱动。 该项目处于早期阶段。 非常...
用来连接odps的客户端,可以在ideal中引入该插件进行连接odps
阿里云odpsSql手册1
aliyun-kettle-odps-plugin-1.0.0包以及安装操作文件,适合在使用maxcompute时用kettle将数据导出,方便实用
阿里云 odps 文档.pdf
ODPS 提供海量数据处理及分析服务,让用户远离大数据运算烦恼。 开放数据处理服务(Open Data Processing Service,ODPS)是基于飞天分布式系统构建的海 量数据处理和分析的服务平台,具有 PB 级别的数据处理能力, ...
ODPS
阿里的odps的使用说明,简单快速上手,希望对新手有一些帮助
阿里巴巴的 odps 文档,帮助新手快速扫盲 本资料共包含以下附件: odps_SQL.pdf
kettle使用maxcompute相关插件,aliyun-kettle-odps-plugin-1.0.0.tar.gz
odps权威指南最新版
odps的eclipse插件
6.6、Data IDE 的数据通知任务 Task1,将数据从大数据计算服务(MaxCompute,原 ODPS)同步到云数据库 RDS(MySQL)中,源数据表中存在数据质量问题,加载的时候会有部分出错纪录,Task1 中已经配置了容错纪录条数,...
阿里odps开放平台的参考手册,里面详细介绍了odps的操作
面向Java开发人员的ODPS SDK 要求 Java 8+ 建造 git clone ... cd aliyun-odps-java-sdk mvn clean package -DskipTests 运行单元测试 您将必须在源代码树中配置test.conf文件: odps-sdk-impl/odps-common-local/...