资讯频道 → 企业架构
阅读更多

2顶
1踩

企业架构

原创新闻 Facebook架构解读

2016-01-18 16:10 by 副主编 mengyidan1988 评论(3) 有11183人浏览
facebook 应用服务器 架构

声明：ITeye资讯文章的版权属于ITeye网站所有，严禁任何网站转载本文，否则必将追究法律责任！




从我看过的各种资料，还有与各式人等的交谈中，可以得出Facebook现在的架构是这样的：
  • Web前端用PHP语言编写，然后用HipHop Compiler[1]转换为C++语言，再用g++编译器编写，从而提供高性能的模板与web逻辑执行层。
  • 完全依赖静态编译所造成的限制，让Facebook开始启用HipHop Interpreter [2]及HipHop虚拟机，将PHP代码转译为HipHop ByteCode[3]。
  • 其业务逻辑以服务形式存在，使用Thrift框架[4]。其中一些服务根据具体需求，在实现时使用了PHP、C++或者Java语言（可能还用到了一些其他语言）。
  • 使用Java实现的服务并未使用任何常规的企业应用服务，而是使用Facebook的定制应用服务器。一开始这些都被视为重复工作，不过随着这些服务仅（或大多）使用Thrift框架，Tomcat甚至Jetty都显得开销过大、值不符实了。
  • 用MySQL、Memcached[5]、Hadoop’s HBase[6]实现持久化；用Memcached作为MySQL缓存与通用缓存。
  • 用Hadoop和Hive实现离线处理。
  • 类似日志、链接与feed之类的数据传输用Scribe[7]实现；用Scribe-HDFS [8]来完成HDFS的聚合存储工作；从而可以用MapReduce进行深入扩展分析。
  • BigPipe[9]是他们的定制技术，用流水线逻辑加快页面呈现。
  • 用Varnish Cache[10]实现HTTP代理，这套软件因其性能与效率较高而受到青睐[11]。
  • Facebook用户所发布的照片数以亿计，其存储由Haystack这个ad-hoc存储解决方案（由Facebook开发）来处理——包括对其进行低级别优化与只扩展写入方式[12]。
  • Facebook Message使用了自身架构——众所周知是基于分区与动态集群管理的架构。业务逻辑与持久化被封装到所谓的“Cell”中。每个Cell处理一部分用户的请求；随着用户数增加再扩展新的Cell[13]。使用HBase实现持久化[14]。
  • Facebook Message的搜索引擎建立在反向索引之上，存储于HBase之中[15]。
  • Facebook搜索引擎的实现细节尚不得而知。
  • 预输入搜索（typeahead search）使用定制化存储与检索逻辑[16]。
  • 聊天服务建立在Epoll服务器之上，由Erlang开发，用Thrift[17]访问。
  • Facebook还构建了一个自动化系统，负责启动适当的修复工作流来管理应对警报，并在故障无法解决时通知人类管理员[18]。

已知信息中，各个组件的配置资源、一些信息还有数字如下：
  • Facebook拥有超过6万台服务器 [18]。最近发布的数据中心位于俄勒冈州普赖恩维尔市，硬件完全自行设计[19] ，并被归为Open Compute Project[20]。
  • Memcached所存储与处理的数据多达300TB[21]。
  • 其Hadoop与Hive集群由3000台8核、32G内存、12TB空间的服务器组成，总计达到2.4万核、96TB内存、36PB空间[22]。
  • 在2010年7月份就已达到每天1000亿的点击量，500亿张图片，3万亿个缓存对象，130TB的日志[22]。
  • 备注：Cassandra已经不再使用。Facebook的实时分析系统是基于记录所有输入的链接（来自用户页面的like和comment请求）。将其记录在HDFS中，而不是用Puma将其拽出再分批存储到HBase中。

相关资料与可参考文章还包括：
Facebook近期发布了一篇博文，详细描述了将会在Altoona数据中心试用的下一代网络架构。这种处理大流量的方式非常新颖，优于传统方式与协议。 Facebook发布了下一代网络

还有就是近期宣布强化搜索功能，以大数据分析与数据管理基础作为支持。Facebook大数据分析增强搜索功能

另外可参考的文章还有：

参考资料包括：
[1] HipHop for PHP
[2] Making HPHPi Faster
[3] The HipHop Virtual Machine
[4] Thrift
[5] Memcached
[6] HBase
[7] Scribe
[8] Scribe-HDFS
[9] BigPipe
[10] Varnish Cache
[11] Facebook goes for Varnish
[12] Needle in a haystack: efficient storage of billions of photos
[13] Scaling the Messages Application Back End
[14] The Underlying Technology of Messages
[15] The Underlying Technology of Messages Tech Talk
[16] Facebook’s typeahead search architecture
[17] Facebook Chat
[18] Who has the most Web Servers?
[19] Building Efficient Data Centers with the Open Compute Project
[20] Open Compute Project
[21] Facebook’s architecture presentation at Devoxx 2010
[22] Scaling Facebook to 500 millions users and beyond

原文链接：What is Facebook’s architecture?（译者/Vera 责编/钱曙光）
  • 大小: 34.2 KB
来自: 极客头条
2
顶
1
踩
评论 共 3 条 请登录后发表评论
3 楼 Gould 2016-01-25 15:00
mark！！！
2 楼 netkiller.github.com 2016-01-25 14:15
没有任何参考价值
1 楼 dieslrae 2016-01-20 23:46
404打不开啊

发表评论

您还没有登录,请您登录后再发表评论

相关推荐

  • 通过分析SQL语句的执行计划优化SQL

    如何干预执行计划 – – 使用hints提示 基于代价的优化器是很聪明的，在绝大多数情况下它会选择正确的优化器，减轻了DBA的负担。但有时它也聪明反被聪明误，选择了很差的执行计划，使某个语句的执行变得奇慢无比。此时就需要DBA进行人为的干预，告诉优化器使用我们指定的存取路径或连接类型生成执行计划，从而使语句高效的运行。例如，如果我们认为对于一个特定的语句，执行全表扫描要比执行索引扫描更有效，则我们就可以指示优化器使用全表扫描。在Oracle中，是通过为语句添加hints(提示)来实现干预优化器优化的目的。 hints是oracle提供的一种机制，用来告诉优化器按照我们的告诉它的方式生成执行计划

  • sql查询结果太大导致oom解决方案

    执行的查询sql结果集太大，导致oom的现象很常见，下面是一些解决方案 条数限制的逻辑 限制最多查询10万条，设置maxRow为10万+1条，如果实际查询到的rowNum为10万+1，那么说明超过最大限制条数，报错 public static int resultLimit = 100000; statement.setMa...

  • 数据库中 SQL Hint 是什么？

    最近在调研业界其他数据库中 SQL Hint 功能的设计和实现，整体上对 Oracle、Mysql、Postgresql、 Apache Calcite 中的 SQL Hint 的设计和功能都进行了解，这里整理一篇文章来对其进行梳理，一是帮助自己未来回顾，加深自己的思考，二是也能帮助大家更好的了解数据库 SQL Hint 的实现原理。

  • Sql优化(五) hint（提示）介绍

    上篇介绍了oracle优化器。尽管oracle优化器很智能，但有时候你想自己选择执行计划，可以通过hint实现。在开发测试环境中，可以通过hint测试不同执行计划的性能。Hint的缺点是增加了管理代码的额外负担，当数据库或环境发...

  • [20190430]注意sql hint写法.txt

    [20190430]注意sql hint写法.txt --//链接:https://www.bobbydurrettdba.com/2019/04/16/check-your-hin...

  • 浅谈SQL Server 2008中的Hints（提示）

    　　SQL Server 2008中SQL应用系列--目录索引 　　SQL Server的系统查询过程负责在SELECT查询执行时候产生查询执行计划。SQL Server会“智能”地选择一个高效计划来取代低效的一个。大多数时候，SQL Server会把这份工作干得很棒。但正如有些人所担忧的，SQL Server并不是万能的，有时候，我们通过查询执行计划、表统计信息、支撑的索引及其他因素...

  • Oracle中Hint深入理解(转)

    Hint概述 基于代价的优化器是很聪明的，在绝大多数情况下它会选择正确的优化器，减轻了DBA的负担。但有时它也聪明反被聪明误，选择了很差的执行计划，使某个语句的执行变得奇慢无比。 此时就需要DBA进行人为的干预，告诉优化器使用我们指定的存取路径或连接类型生成执行计划，从 而使语句高效的运行。例如，如果我们认为对于一个特定的语句，执行全表扫描要比执行索引扫描更有效，则我们就可以指示优化器...

  • hint UNNEST 可以提示CBO进行Subquery Unnesting

    SQL> set linesize 200 SQL> set pagesize 200 SQL> ALTER SESSION SET STATISTICS_LEVEL=ALL; 会话已更改。 SQL> select sql_text from v$sqlarea where (address, hash_value) in (select DECO...

  • 学习ORACLE-优化器提示（Hints）

    数据仓库中加工数据时，经常会使用提示（HINT）指示优化器改变执行路径，以便快速的得到数据

  • 转载--常见hints的基础用法

    -- 优化器名词解释 -- Oracl...

  • Hints介绍 补充

    Hints介绍 收藏Oracle使用的hints调整机制一直很复杂，Oracle Technical Network对使用hints调整Oracle SQL的过程有很好的全面评述。根据对10g数据库的介绍，可使用更多新的opti...

  • sql exists oracle,ORACLE 关于带有exists子句的SQL，HINT的写法

    先看一条语句。apollo@CRMG>select * from wxh_tbd1 a where exists ( select 1 from wxh_tbd2 b where a.table_name=b.table_name and b.read_only='YES');----------------------------------------------------------...

  • mysql常用的hint[转]

    对于经常使用oracle的朋友可能知道，oracle的hint功能种类很多，对于优化sql语句提供了很多方法。同样，在mysql里，也有类似的hint功能。下面介绍一些常用的。 强制索引 FORCE INDEX SELECT * FROM TABLE1 FORCE INDEX (FIELD1) … 以上的SQL语句只使用建立在FIELD1上的索引，而不使用其它字段上的索引。...

  • SQL Server调优系列玩转篇（如何利用查询提示（Hint）引导语句运行）

    前面几篇我们分析了关于SQL Server关于性能调优的一系列内容，我把它分为两个模块。第一个模块注重基础内容的掌握，共分7篇文章完成，内容涵盖一系列基础运算算法，详细分析了如何查看执行计划、掌握执行计划优化点，并一一列举了日常我们平常所写的T-SQL语句所会应用的运算符。我相信你平常所写的T-SQL语句在这几篇文章中都能找到相应的分解运算符。第二个模块注重SQL Server执行T-SQL语句的时候一些内幕解析，共分为5篇文章完成，其中包括：查询优化器的运行方式、运行时几个优化指标值检测，统计信息

  • oracle sql 语句暗示 hints

    oracle sql 暗示 描述了oracle sql 语句的所有暗示

  • oracle hint用法

    常见的 从网上copy的1. /*+ALL_ROWS*/　　表明对语句块选择基于开销的优化方法,并获得最佳吞吐量,使资源消耗最小化.　　例如:　　SELECT /*+ALL+_ROWS*/ EMP_NO,EMP_NAM,DAT_IN FROM BSEMPMS WHERE EMP_NO=SCOTT; 　　2. /*+FIRST_ROWS*/　　表明对语句块选择基于开销的优化方法,并获得最佳响

  • ORACLE性能优化之SQL语句优化

    操作环境:AIX +11g+PLSQL 包含以下内容： 1.  SQL语句执行过程 2.  优化器及执行计划 3.  合理应用Hints 4.  索引及应用实例 5.   其他优化技术及应用 1.SQL语句执行过程 1.1 SQL语句的执行步骤   1）语法分析，分析语句的语法是否符合规范，衡量语句中各表达式的意义。   

  • SQL　优化提示

    如果是字符型关键字，用条件过滤比较加‘’引起来，否则，不会使用索引。 一、操作符优化 1、IN 操作符 用IN写出来的SQL的优点是比较容易写及清晰易懂，这比较适合现代软件开发的风格。但是用IN的SQL性能总是比较低的，从Oracle执行的步骤来分析用IN的SQL与不用IN的SQL有以下区别： ORACLE试图将其转换成多个表的连接，如果转换不成功则先执行IN里面的子查询，再查询外层的表...

  • Oracle Hints，Oracle并行模式（Parallel） /*+parallel(t,4)*/ 在SQL调优中的重要作用

      /*+parallel(t,4)*/在SQL调优中的重要作用! 2013年11月17日 12:59:24 雾里看花5566 阅读数：5422更多 个人分类： 数据库-oracle 谈谈HINT　/*+parallel(t,4)*/在SQL调优中的重要作用! /*+parallel(t,4)*/在大表查询等操作中能够起到良好的效果, 基于并行查询要启动并行进程、分配任务与系统资源、合并...

  • {"errcode":40125,"errmsg":"invalid appsecret, view more at http:\/\/t.cn\/RAEkdVq, hints: [ req_id:

    {“errcode”:40125,“errmsg”:“invalid appsecret, view more at http://t.cn/RAEkdVq, hints: [ req_id: ifJcDXXBe-R41iQa ]”} 解决办法: 在mp.weixin.qq.com 里面重置你的app secret 或查看你的appid 是否没有对应上; 或查看你的url拼接是否出现空格,换行等...

Global site tag (gtag.js) - Google Analytics