这2天接触了一下Amazon Web Services(AWS)中的Amazon Simple Storage Service,简称Amazon S3(下称S3)。S3站点上用下面的语句描述了自己的作用:
Amazon S3 provides a simple web services interface that can be used to store and retrieve any amount of data, at any time, from anywhere on the web. It gives any developer access to the same highly scalable, reliable, fast, inexpensive data storage infrastructure that Amazon uses to run its own global network of web sites. The service aims to maximize benefits of scale and to pass those benefits on to developers.
通过S3这个接口,您可以把Amazon的存储服务当作一个硬盘,可以随时随地上传,下载数据,不过您得付钱才可以使用,即使您只是准备测试一下。S3首页上有价格表。在S3注册并付费获取2个数:Access Key ID和Secret Access Key,才可以使用S3的服务,因为所有的操作都需要这2个数进行身份验证。
一、基本概念:Buckets,Objects,Keys,Operations
注册后,用户通过名为bucket的容器来管理所有数据,这些数据称之为对象(Object)。比如,一个名为20071211/logo-320x240.gif的对象存放在livebaby这个bucket里,则可以通过URL:http: //s3.amazonaws.com/livebaby/20071211/logo-320x240.gif来访问这个对象。bucket有3个基本概念:1、不能删除非空的bucket;2、bucket不能转让给其他用户;3、每个用户最多只能有100个buckets。简单的说,bucket类似硬盘分区中的第一层目录。
这里还有一个key的概念,key是bucket中对象的唯一标识符,每个对象对应一个key。上例中,20071211/logo-320x240.gif称为key。
每个对象都有一组键值对,称为MetaData,分2种,系统metadata和 用户metadata。S3不处理用户metadata,只接收、存储、返回给用户,由用户自己处理。REST下,系统metadata以x-amz-开头,用户metadata以x-amz-meta-开头。
Amazon提供2种API:Simple Object Access Protocol(SOAP)和Representational State Transfer(REST)来访问AWS。这里一篇文章,其中简单对比了一下2者的区别,区别后总结说:“ In fact, you can think of REST as a kind of data-access methodology whereas SOAP is a process-control methodology.”
通过SOAP和REST,最常用的操作(Operation)有这么几个:
* 创建bucket;
* 上传对象,上传时必须指定一个key,同时还可以设置这个对象的访问控制权限,默认是私有的;
* 下载对象,有HTTP 和 BitTorrent2种方式;
* 删除对象;
* 列表对象;列表时,可以通过一个前缀(prefix)来过滤显示不同的对象。
通过向AWS的服务端点(endpoint,http://s3.amazonaws.com/)发出PUT、GET、DELETE、HEAD等HTTP Requests,便可以操作S3上的数据。
分享到:
相关推荐
Amazon Simple Storage Service(Amazon S3)是一种面向 Internet 的存储服务。该服务旨在降低 网络规模计算的难度。 Amazon S3 提供一个简明的 Web 服务界面,用户可通过它随时在 Web 上的任何位置存储和检索任意 ...
用于Amazon Simple Storage Service(S3)的ACK服务控制器该存储库包含适用于Amazon Simple Storage Service(S3)的AWS Kubernetes控制器(ACK)服务控制器的源代码。 请在主要的AWS Controllers for Kubernetes ...
aws.s3:Amazon Simple Storage Service(S3)API客户端
使用 Amazon Simple__Storage Service (S3) 作为__Enterprise Vault 的主存储__14.0 or later-25.pdf
JetS3t是免费的开源Java工具箱和应用程序套件,适用于Amazon Simple Storage Service(Amazon S3),Amazon CloudFront内容交付网络和Google Storage for Developers。 有关更多信息,文档以及到讨论列表和其他资源...
Amazon Simple Storage Service 文档。提供了 Amazon S3 的概念性介绍,以及使用各种功能的详细说明。
S3Lib 是 Amazon Simple Storage Service 的客户端库。 地位 Java 库 S3Lib-Java 已完成并在积极的生产中使用。 使用 S3Lib-Java 来满足其游戏的后端存储需求。 C 库 C 实现 S3Lib-C 正在进行中。 完成图书馆是在...
s3文件夹上传 一个小脚本,可通过使用官方的Amazon SDK将静态信息上传到S3存储桶。AWS凭证为了使用此模块,您需要具有AWS Credentials。 您可以通过两种方式加载它们: 通过直接传递给方法作为第二个参数。 通过使用...
S3FS 使用进行存储的 Node.JS 实现。 主要维护者: 目的 S3FS 为 Node.JS 提供的文件系统 (FS) 实现提供了直接替代,允许 Node.JS 应用程序通过 Node.JS 使用的众所周知的使用分布式文件系统。 最低 IAM 政策 以下...
Over 30 hands-on recipes that will get you up and running with Amazon Simple Storage Service (S3) efficiently About This Book Learn how to store, manage, and access your data with AWS SDKs Study the ...
如何使用gSOAP连接到Amazon S3以存储和检索数据
这个新工具是基于Adobe Flex和AIR平台建立的,并且利用Amazon简单存储服务(Amazon Simple Storage Service,S3)对历史市场数据进行持久化。S3和AIR的组合的部署模型很强大,并且只需要很少的内部基础设施的支持。AIR...
Amazon Simple Storage Service API Reference 2006-3-1
亚马逊快手训练之 Amazon Simple Storage Service (S3),希望对需要它的同学有所帮助。
用于Amazon Simple Storage Service(S3)的S3cmd工具作者:Michal Ludvig,[受电子邮件保护]项目主页(c)TGRMN软件和贡献者S3tools / S3cmd邮件列表:新版本的公告:s3tools-用于Amazon Simple Storage Service的...
MinIO Java SDK is Simple Storage Service (aka S3) client to perform bucket and object operations to any Amazon S3 compatible object storage service. MinIO Java SDK是简单存储服务(又称S3)的客户端,...
删除文件-开源-文件图标-活动开发和快速Amazon Simple Storage Service(S3)-云存储-AWS Amazon Simple Storage Service(Amazon S3)是具有简单Web服务界面的对象存储,用于存储和检索任意数量的数据从网络上的...
最低功能(任何人都可以使用,而不仅仅是管理员使用)-支持多区域S3存储桶-使用AWS JS SDK-搜索(前缀)|创建文件夹|删除文件-开源-文件图标-活动开发和快速Amazon Simple Storage Service(S3)-云存储-AWS Amazon ...
Impala provides fast, interactive SQL queries directly on your Apache Hadoop data stored in HDFS, HBase, or theAmazon Simple Storage Service (S3). In addition to using the same unified storage ...
Jeff Barr是亚马逊(Amazon)的云计算战略师,在该主题中,他将和与会者分享亚马逊企业级Web Services路线图,比如亚马逊的 EC2(Elastic Compute Cloud),S3(Simple Storage Service)和 SQS(Simple Queue ...