阿里云学习笔记

hwei199

浏览: 75135 次
性别:
来自: 武汉

最近访客更多访客>>

hellohank

suzg110

麻瓜大亮哥丶

zhangxi19870131

博主相关

博客

微博

相册

留言

关于我

文章分类

社区版块

存档分类

博客分类：

大数据

近期使用阿里云的e-maprecude服务解决一个问题，因此对阿里云做了些预研。
学习记录如下，有些杂乱。

OSS价格 OSS产品的账单费用=存储空间费用+流量费用+请求费用。
https://help.aliyun.com/document_detail/oss/billing/overview.html
存储费用：初期试用：按量付费最省钱
流量费用：初期试用：按量付费最省钱
接口调用请求费用：0.01元/万次试用期暂可忽略

Access Key ID：
Access Key Secret:

利用OSS做动静分离的架构
https://www.aliyun.com/product/oss/?spm=5176.2020520111.111.1.9EVXDI#Ability

阿里云官方视频教程
https://www.aliyun.com/support/video
https://www.aliyun.com/support/video/list?spm=5176.2096654.3.2.e5Dx4j
■RDS/DRDS
●RDS
1、帐号管理

2、数据库管理：
1）新建数据库
2）数据库迁入
·从自建实例：
·在公网IP 的自建数据库，或ECS上的自建数据库

3、系统资源监控：
·磁盘空间
·IOPS
·连接数
·CPU利用率
·网络流量
·QPS/TPS
·InnoDB缓冲池
·InnoDB读写量
·InnoDB读写次数
·InnoDB日志
·临时表
·····
4、参数设置：MySql参数设置
5、备份与恢复：
实例备份的策略设置：时间/周期等

●DRDS
分布式关系型数据库。可随时扩展。
可进行分库、分表的策略和设置
可以设置只读实例和只读的均衡策略、请求发往只读实例的百分比策略等

■ODPS Open Data Processing Service
主要提供针对TB/PB级数据/实时性要求不高的分布式处理能力，应用于数据分析、挖掘、商业智能等领域。
●管理控制台的使用
ODPS以项目为单位来管理作业，每个项目中可以进行数据、作业、帐户和权限、安全设置的管理。
1、数据
在这里可以新建、查看、管理表。
创建表时，可以创建普通列和分区列（mysql将根据该列进行分区）。
可以在表管理列表中查看表的各种属性、数据等，也可以进行ACL授权。
如果有分区，还可以查看分区。新建分区。
（这里是手动创建分区，分区也要手动加上去的。与mysql等RDBS的自动分区有所不同。指定分区的表会有一个分区字段rq，rq的值就是创建分区时指定的rq值）

上传：以txt或csv格式，以逗号分隔，把数据文件上传。如果是分区表，需要选择分区。

2、作业
不管是sql还是mapReduce作业，都会含有一个instanceID，ODPS用这个instanceID来管理任务。
作业列中中可以看到所有作业属性和执行时长等。
ODPS的作业收费包含存储费用和请求次数进行收费。

3、帐号和权限
帐号和授权的管理、角色管理

4、安全设置
项目空间数据保护：只允许项目内部使用。

●使用ODPS客户端进行数据操作
1、在ODPS产品帮助区的链接中下载ODPS客户端
2、在odps.conf中配置自己的帐户配置、Access key等信息
access_id
access_key
end_point: 提供OSPS服务的URL
project id:

3、在ODPS的可执行目录下使用ODPS命令
odps ：进行odps环境
sql: 用sql方式访问
show tables: 显示表名
sqlect * from xxx:
exit:退出sql
help:
security: 授权等操作

●Dship上传、下载数据
1、在ODPS产品帮助区的链接中下载“数据上传、下载工具”
2、在odps.conf中配置自己的帐户配置、Access key等信息
3、输入dship进入dship命令模式
upload:
download:
resume: 类似断点续传

●MapReduce的开发和应用
1、在ODPS产品帮助区的链接中下载“eclipse插件”，将下载后的jar包拷贝到plugin目录下。
2、在eclipse中new project项导中选择MapReduce项目。
3、新建一个Mapper类
4、新建Reduce类
5、新建一个Driver类，调用map,reduce任务

●UDF的开发和应用

■ESS 弹性伸缩服务
1、创建什缩组
1）基本信息：设置什缩的最大实例值、最小实例值、伸缩的策略等，同时需要配置一个负载均衡器。
2）伸缩组配置：设置CPU核数、内存、带宽，还需要选择一个系统镜像。还可以将以有的ECS实例添加到伸缩组。
3）伸缩规则设置
创建伸缩规则：报警事件触发：如CPU平均负载大于60%时触发时增加一台等
创建减少规则（收缩）：
2、自动触发任务管理
新建报警任务，与伸缩规则绑定。这样在到达报警规则时，自动进行伸缩或收缩。

可以结合阿里的性能测试服务PTS来对阿里云的其它服务进行压力测试。
PTS支持测试脚本。可以运行设置好的测试任务。

■OTS 弹性伸缩服务
Open Talbe Service 是构建在飞天分布式系统之上的NoSQL数据库服务，提供海量结构化数据的存储和实时访问。

●实例操作
在实例管理中新建OTS实例。每个实例具有公网访问地址和私网访问地址。

●表操作
在实例管理中“新建数据表”
表名称、预留读/写吞吐量、表主键。
主键的第一个字段将会被用做“分片键”

●利用OTS java SDK进行开发
利用SDK中的OTSClient类进行表数据的创建、上传、删除等。

分享到：