`
talentluke
  • 浏览: 601748 次
  • 性别: Icon_minigender_1
  • 来自: 深圳
社区版块
存档分类
最新评论

分布式架构关键技术

 
阅读更多

分布式的概念

所谓分布式,狭义的指代以Google的三驾马车,GFS、Map/Reduce、BigTable为框架核心的分布式存储和计算系统。Hadoop是一个基于Java实现的,开源的,分布式存储和计算的项目。作为这个领域最富盛名的开源项目, Hadoop实现的是分布式的文件系统HDFS,和分布式的计算(Map/Reduce)框架。

分布式架构关键技术主要有分布式文件系统、分布式存储和分布式数据库。

 

分布式文件系统

分布式文件系统,在整个分布式系统体系中处于最低层最基础的地位。分布式文件系统包含是分布式和文件系统这两个方面的内涵。

从文件系统的客户使用的角度来看,它就是一个标准的文件系统,提供了一系列API,由此进行文件或目录的创建、移动、删除,以及对文件的读写等操作。

从内部实现来看,分布式的系统则不再和普通文件系统一样负责管理本地磁盘,它的文件内容和目录结构都不一定存储在本地磁盘上,而是可能通过网络传输到远端系统上。同时,同一个文件存储不只是在一台机器上,而是在一簇机器上分布式存储,协同提供服务,即所谓“分布式”。

 

分布式计算

分布式计算狭义的指代“按Google Map/Reduce框架所设计的分布式框架”。分布式文件系统是为各种分布式计算需求所服务的。从分布式的角度上看,分布式计算的输入文件往往规模巨 大,且分布在多个机器上,单机计算完全不可支撑且效率低下,因此Map/Reduce框架需要提供一套机制,将此计算扩展到无限规模的机器集群上进行。它 将复杂的运行于大规模集群上的并行计算过程高度的抽象到了两个函数,Map 和 Reduce。。适合用 MapReduce 来处理的数据集(或任务)有一个基本要求: 待处理的数据集可以分解成许多小的数据集,而且每一个小数据集都可以完全并行地进行处理。

MapReduce 的计算过程就是将大数据集分解为成百上千的小数据集,每个(或若干个)数据集分别由集群中的一个结点(一般就是一台普通的计算机)进行处理并生成中间结果,然后这些中间结果又由大量的结点进行合并, 形成最终结果。 计算模型的核心是 Map 和 Reduce 两个函数,这两个函数由用户负责实现,功能是按一定的映射规则将输入的 <key, value> 对转换成另一个或一批 <key, value> 对输出。 基于 MapReduce 计算模型编写分布式并行程序非常简单,程序员的主要编码工作就是实现 Map 和 Reduce 函数,其它的并行编程中的种种复杂问题,如分布式存储,工作调度,负载平衡,容错处理,网络通信等,均由 MapReduce 框架负责处理,程序员完全不用处理。

 

分布式数据库

分布式数据库具备高可用、高扩展等特点,解决了传统数据库无法解决的问题。

分布式数据库解决方案具备两个特点:第一、具有弹性可扩展性;第二、单点不可靠、但整个集群是可靠。分布式数据库是未来数据库或者互联网应用比较青睐的数据库。

分布式数据库和传统的关系型数据库还有一定的区别。传统的数据库有非常强的事务能力,因其一致性高导致它的扩展性非常复杂;对于互联网企业来讲它更多关注 的不是一致性,只需要在最终的数据一致性就可以,这样导致出现传统的数据库解决不了企业应用的问题,然后就会出现分布式数据库解决方案。

 

分布式的数据库解决方案不代表传统数据库的终结,因为传统的数据库有它的用武之地,分布式的数据库在它的应用场景当中会应用起来。未来,分布式数据库和传统的关系型数据库它们应该是互相弥补、互相结合的。

分享到:
评论

相关推荐

    分布式架构关键技术.pdf

    分布式架构关键技术是当前信息技术领域极为重要的研究方向,其核心在于分布式系统的设计和优化,尤其在处理大量数据、保证数据安全性和系统稳定性方面显示出独特优势。分布式系统的技术包含多个层次,从底层的分布式...

    关于云计算环境下的分布式存储关键技术分析.pdf

    在云计算环境下的分布式存储关键技术是当前信息化发展的重要研究方向之一。随着信息技术的不断进步,云计算已成为多个行业信息化建设的关键应用领域。在云环境中,数据的存储、处理和安全已成为技术研究的核心问题。...

    分布式架构原理与实践(崔皓)

    本书《分布式架构原理与实践》不仅全面介绍了分布式架构的基础概念和发展历程,还深入探讨了其关键技术点及其应用场景。作者崔皓通过多年的工作经验和深入研究,将复杂的分布式系统设计原理以通俗易懂的方式呈现出来...

    Java分布式架构设计实战视频课程(2022最新版,13章全)

    这套课程共有13个章节,每个章节都针对特定的分布式架构技术或概念进行详细讲解,通过实际案例和源码分析,让学习者能够快速上手并应用到实际项目中。 一、分布式系统基础 在这一部分,课程会介绍分布式系统的概念...

    分布式架构关键设计与实践探索.pdf

    分布式架构是现代信息技术发展的重要趋势之一,尤其在金融等业务量巨大、并发需求频繁变化的行业中,分布式架构能够提升系统的处理能力、弹性和可用性,已经成为金融信息化发展的必然选择。分布式架构的设计与实践,...

    基于分布式架构打造证券交易新核心.pdf

    在此背景下,分布式架构被提上日程,成为推动证券交易系统创新与升级的关键技术。 首先,让我们来探讨分布式架构的概念及其优势。分布式架构是一种将计算任务分布在多台计算机上的设计方法,与传统的集中式架构相比...

    互联网金融分布式架构实践.pptx

    在2017年11月,刘发鹏提出了关于互联网金融分布式架构的实践,着重探讨了新零售消费金融所需的关键技术能力以及如何设计和实施分布式架构。 1. **新零售消费金融的关键技术能力** - **普惠金融能力**:风控是核心...

    2022全新版-Java分布式架构设计与开发实战

    分布式架构是大型项目必用的架构方式,也是云原生、Serverless等新兴技术的底层基石。后端进阶,必然绕不开分布式。但市面的分布式课程鱼龙混杂,造成了不少学习精力的浪费。 本课程将目前的分布式技术知识进行整合...

    分布式架构和消息队列技术在抄表系统的应用.pdf

    传统的集中式架构难以满足这种需求,因此,分布式架构成为了解决问题的关键。 分布式架构是一种将系统拆分为多个独立的组件,这些组件可以在不同的物理或逻辑节点上运行,通过网络进行通信和协作。在抄表系统中,...

    基于分布式架构的大数据建模实践.pdf

    综上所述,本文针对分布式架构下的大数据建模实践进行了深入探讨,涵盖了分布式系统的组成、数据处理技术、建模方法的演变、实时数据处理的必要性以及多源异构数据处理的挑战等关键知识点。通过这些知识点的学习,...

    分布式架构技术总结

    分布式架构技术是现代互联网服务的核心组成部分,随着互联网...总之,分布式架构技术是构建大规模、高性能互联网应用的基础,通过深入了解和掌握这些关键技术,并解决随之而来的挑战,可以构建出更健壮、更高效的系统。

    基于分布式架构管理的B2C商城设计与实现.pdf

    本文介绍了一个基于分布式架构管理的B2C商城系统设计与实现过程,以及关键技术的运用。在互联网和电子商务迅猛发展的背景下,本文作者提出了一个解决方案,旨在满足现代网上购物平台对于界面友好性和查询效率的需求...

    智能运维(AIOps)在中国联通分布式架构下的研究与应用.pdf

    "智能运维(AIOps)在中国联通分布式架构下的研究与应用" 以下是基于给定文件生成的知识点: 1. 智能运维(AIOps)的定义和应用 智能运维(AIOps)是指通过对历史运维数据建模与分析,结合机器学习和大数据等相关技术,...

    分布式架构面试题汇总.zip

    接下来,我们将深入探讨分布式架构的一些关键知识点。 1. **分布式系统定义**:分布式系统是由多台计算机通过网络连接,共同协作完成同一任务。这些计算机之间通过网络通信,共享数据和计算资源,对外表现出单一...

    基于云计算平台的分布式架构设计.pdf

    分布式架构设计包括但不限于以下几个关键技术点: 1. 负载均衡:在分布式云计算环境中,负载均衡是确保系统稳定运行的关键技术。通过虚拟机之间的负载均衡,可以将业务流量分摊到不同的虚拟机上,从而提高系统的...

    分布式架构基础讲义

    分布式架构基础讲义是IT领域中的重要学习资料,它涵盖了多个关键知识点,旨在帮助读者理解和掌握构建大规模、高可用的系统所需的技术与理念。以下是这些主题的详细解析: 1. **分布式架构**:分布式架构是一种将...

    服务端高并发分布式架构演进之路.pdf

    以上知识点基于文档提供的内容进行了详细解说,涵盖了从单机架构到千万级并发分布式架构演进的过程、关键技术和策略、设计原则以及未来发展趋势等多个方面。在实际开发中,我们可以借鉴这些演进策略和架构设计原则,...

    分布式架构设计(银行为例)

    分布式架构设计在现代银行业务中扮演着至关重要的角色,尤其对于零售银行而言,处理大量实时交易和数据分析的需求,使得分布式架构成为不可或缺的技术支撑。本文将深入探讨基于Hadoop、F5、Dubbo和SpringCloud的...

    基于分布式架构的院校综合考勤管理系统.pdf

    【基于分布式架构的院校综合考勤管理系统】 在当前的高等教育环境中,传统的考勤方式已经无法满足高效、准确的管理需求。人工统计考勤的方式存在效率低下、数据反馈延迟的问题,而部分采用智能考勤的院校则面临考勤...

    基于分布式架构的星载并行计算机容错技术.pdf

    在分布式架构下的星载并行容错计算机系统中,系统设计通常采用主从结构,这种结构集中控制容错策略于一个主节点,但其潜在风险在于单点故障可能导致整个系统失效。因此,提出了一种分布式架构,将容错控制部件分布化...

Global site tag (gtag.js) - Google Analytics