资讯频道 → 编程语言
阅读更多

45顶
0踩

编程语言

原创新闻 强烈推荐：著名社交网站LinkedIn的Java架构技术

2008-06-06 10:59 by 副主编 QQbyte 评论(29) 有35552人浏览
Java JNI

声明：ITeye资讯文章的版权属于ITeye网站所有，严禁任何网站转载本文，否则必将追究法律责任！

 

强烈推荐：著名社交网站LinkedIn的Java架构技术

在JavaOne 2008的会议上，著名社交网站LinkedIn的开发者做了2个关于LinkedIn

网站的架构技术的演讲，目前这两个演讲的PPT已经可以下载了。下载地址如下：

需要注册才可以下载，能下载PDF版本。

可以看一下LinkedIn网站的基本情况：

1。2千2百万用户
2。每个月4百万独立用户访问
3。每天4千万page view
4。每天2百万搜索流量
5。每天25万邀请发送
6。每天1百万的回答提交
7。每天2百万的email消息发送

这是一个世界顶尖级别流量的网站了，看看LinkedIn的系统架构：

    * 操作系统：Solaris (running on Sun x86 platform and Sparc)
    * 应用服务器：Tomcat and Jetty as application servers
    * 数据库：Oracle and MySQL as DBs
    * 没有ORM，直接用JDBC No ORM (such as Hibernate); they use straight JDBC
    * 用ActiveMQ在发送JMS. (It’s partitioned by type of messages. Backed by MySQL.)
    * 用lucene做搜索Lucene as a foundation for search
    * Spring做逻辑架构Spring as glue

下面是随着流量增加，LinkedIn的架构演化：

2003－2005
1。一个整体的web程序，
2。一个核心数据库，
3。在Cloud中缓存所有network图，Cloud是用来做缓存的独立server。
4。用lucene做搜索，也跑在Cloud中。

2006年
1。复制另外一个数据库，减少直接load核心数据库，另外一个server来管理非只读数据库的数据更新。
2。把搜索从Cloud中移出来，单独一个server跑搜索
3。增加Databus数据总线来更新数据，这是通过分布式更新的核心组件，任何组件都需要Databus

2008年
1。WebApp不再任何事情都它自己做，把业务逻辑分成很多部分，通过server群来做。WebApp仍然提供用户界面给用户，但是，通过server群来管理用户资料，小组等等。
2。每个服务有自己的域数据库
3。新的架构允许其他应用链接LinkedIn，比如增加的招聘和广告业务。

The Cloud
1。Cloud是整个架构最重要的部分，整个LinkedIn的网络图都缓存在Cloud里面
2。Cloud大小：22M nodes, 120M edges
3。需要12GB RAM
4。在生产环境要跑40个实例
5。从硬盘重建Cloud一个实例需要8个小时
6。Cloud通过databus实时更新
7。关闭时持久化到硬盘
8。缓存通过C++实现，用JNI调用，LinkedIn选择C++而不是Java有两个原因：
   1）尽可能的减少RAM的使用
   2）垃圾收集暂停会杀死整个系统，LinkedIn用了最新的GC程序，也就是就是说java的的垃圾搜集性能不太好
9。将所有东西放在缓存里面是一种限制，但是LinkedIn指出，分割业务图将更麻烦
10。Sun提供了2TB的RAM


Communication Architecture交流架构包括：

Communication Service

Communication Service是用来提供永久信息的，比如收件箱里面的消息和email
1。整个系统通过JMS异步通讯
2。客户端用JMS发送消息
3。消息通过路径服务器来到达相应的邮箱或者直接放到email进程中
4。消息发送：同时使用Pull主动寻求信息(如用户需要信息)和Push发送信息(如发email)
5。使用Spring和LinkedIn专业Spring插件完成，使用HTTP-RPC

Scaling Techniques
1。通过功能来划分：发送，接受，文档等。
2。通过类别来划分：用户信箱，访问者信箱等
3。等级划分：用户ID等级，Email等级等
4。所有的操作都是异步的。

 

推荐阅读：LinkedIn架构图：99％都是用Java写的

 

45
顶
0
踩
评论 共 29 条 请登录后发表评论
29 楼 shuaiji 2011-12-23 09:55
高手都是自己写ORM ，从来不用什么HIBERNATE
28 楼 itlangqun 2009-01-05 19:56
我没经验,看不懂啊
27 楼 kooen.chen 2008-09-13 23:05
小小网站吧，没什么值得探讨的吧！
26 楼 kingwang520 2008-07-16 17:25
引用
我也只喜欢 Spring不喜欢Hibernate。Spring提供了很多方便的功能，侵入性却很小。Hibernate只能做做小型程序差不多。


spring跟hibernate有互相可替代性？？？

好逗     

25 楼 myreligion 2008-07-07 13:55
才4千万PV而已，有必要搞得那么复杂嘛！

我们有个系统每天高的时候也有2000万PV，主业务数据表也有近2000万数据，都是基本的架构，做作分库，做作负载均衡也就完了，没必要搞得恁复杂！到4千万加点机器估计也就行了，楼主介绍的东西太过了~~~，而且“5。从硬盘重建Cloud一个实例需要8个小时”，要是Cloud机器挂掉了，重启下都要8小时，还不疯了！


24 楼 davidcen 2008-07-05 19:00
8。缓存通过C++实现，用JNI调用，LinkedIn选择C++而不是Java有两个原因：
   1）尽可能的减少RAM的使用
   2）垃圾收集暂停会杀死整个系统，LinkedIn用了最新的GC程序，也就是就是说java的的垃圾搜集性能不太好
9。将所有东西放在缓存里面是一种限制，但是LinkedIn指出，分割业务图将更麻烦

系统庞大到一定程度之后,着重考虑的就是性能问题,开发效率问题,倾向工厂化生产的趋势,代码产品要够简单,以遵循已经优化的策略,架构上呈现扁平化才能提高数据的加工效率.仅仅使用jdbc可以减少调优的方案,尤其是如此庞大的系统,使用orm那绝对要再头疼一次,结果肯定也是可以的,但是会很繁杂,花钱也会更多.这也说明了技术上长江后浪推前浪,不过还是姜是老的辣,沉淀的会更多.而从成本考虑,这个网站玩java估计成本会比php要高很多,不过谁让他有2kw有钱人用户呢,还是烧得起.

引用
再次证明了，java不适合做大型互联网程序，用户一多竟然要耗费12G多的RAM！


抨击一门语言是否要需要解决所有问题,如同使用低级语言来写网页一样可笑.
23 楼 kaituozhe6666 2008-07-05 16:04
22 楼 xo_tobacoo 2008-06-19 08:51
直接用JDBC No ORM (such as Hibernate); they use straight JDBC
-------这个应该非常关键吧！这么大的系统！无论用其他什么技术都是无比复杂的事。
21 楼 Wallian_hua 2008-06-18 11:00
是为了打造JAVA制做互联网应用的颠峰???
20 楼 neaton 2008-06-16 18:18
网速太慢，哪位有空传一下，coosuu@gmail.com
19 楼 ganyu21 2008-06-15 13:12
hibernate再加一个分布式二级cache，暴强无比！
18 楼 ganyu21 2008-06-15 13:11
12G怎么了？不就是多了几根内存条吗？总比用C的开发费用小很多吧，可维护性也好很多吧
17 楼 wym0291 2008-06-15 01:06
引用
再次证明了，java不适合做大型互联网程序，用户一多竟然要耗费12G多的RAM！用这么多内存，GC起来确实很可怕，不死才怪！另外，我也只喜欢Spring不喜欢Hibernate。Spring提供了很多方便的功能，侵入性却很小。Hibernate只能做做小型程序差不多。


.....相当经典的java盲人评论.....完全不懂GC的调优....
16 楼 vdgame 2008-06-08 16:48
引用
试试能不能直接下载

不能直接下载，但是放到迅雷里可以
15 楼 fxbird 2008-06-08 14:04
试试能不能直接下载：
http://s3.amazonaws.com/ppt-download/linkedinjavaone2008techsessioncomm-1211223608637383-9.pdf?Signature=bq3zR1KBX72YUJBtcR1J3zPFt9Y%3D&Expires=1212911935&AWSAccessKeyId=1Z5T9H8PQ39V6F79V8G2

http://s3.amazonaws.com/ppt-download/linkedinbofjavaone2008-1210975769299886-8.pdf?Signature=7mtRpPrZrBbz%2BgOjJcsJNOhyOOI%3D&Expires=1212911913&AWSAccessKeyId=1Z5T9H8PQ39V6F79V8G2
14 楼 fight_bird 2008-06-08 12:09
太复杂了，大型网站的架构一定要这么复杂吗？应该简化一点。
13 楼 galaxystar 2008-06-07 18:42
大型网站，复杂的业务，上亿PV的，谁会用ORM。搞笑
12 楼 runjia1987 2008-06-07 12:38
不用ORM,  仔细揣摩中。。。。。
11 楼 ahuaxuan 2008-06-07 10:29
引用

再次证明了，java不适合做大型互联网程序，用户一多竟然要耗费12G多的RAM！

结论太搞笑了，而且用户一多需要12g得内存也很正常得，2200w得用户信息随便放在什么地方都很占内存，而且人家也没有说这12g内存是放在什么地方的，一般都会放在memcached中或者其他什么地方，我还没有见过把这么多应用放在app中的呢
10 楼 allenny 2008-06-07 02:06
引用
再次证明了，java不适合做大型互联网程序


你倒是给介绍一种适合大型互联网程序的来看看。

发表评论

您还没有登录,请您登录后再发表评论

相关推荐

  • 著名社交网站LinkedIn的Java架构技术.doc

    介绍著名社交网站LinkedIn的Java架构技术

  • java开发社交网站_(转)强烈推荐：著名社交网站LinkedIn的Java架构技术

    强烈推荐：著名社交网站LinkedIn的Java架构技术在JavaOne 2008的会议上，著名社交网站LinkedIn的开发者做了2个关于LinkedIn网站的架构技术的演讲，目前这两个演讲的PPT已经可以下载了。下载地址如下：LinkedIn - A ...

  • java 社交平台 架构_(转)强烈推荐：著名社交网站LinkedIn的Java架构技术 - 第4页...

    http://www.infoq.com/cn/interviews/MySpace-Architecture-Dan-Farino-cn#MySpace首席系统架构师Dan Farino谈论了超大线上社区的系统架构，以及构建这样一个系统所面临的各种挑战。由于MySpace几乎完全基于.NET ...

  • java 社交平台 架构_[转贴] 著名社交网站LinkedIn的Java架构技术

    在JavaOne 2008的会议上，著名社交网站LinkedIn的开发者作了2个关于LinkedIn网站的架构技术的演讲，目前这两个演讲的PPT已经能够下载了。下载地址以下：java须要注册才能够下载，能下载PDF版本。nodeLinkIn开发者...

  • 著名社交网站LinkedIn的Java架构技术

    在JavaOne 2008的会议上，著名社交网站LinkedIn的开发者做了2个关于LinkedIn 网站的架构技术的演讲，目前这两个演讲的PPT已经可以下载了。下载地址如下： LinkedIn - A Professional Social Network Built...

  • 社交网站LinkedIn的Java架构技术

    强烈推荐：著名社交网站LinkedIn的Java架构技术在JavaOne 2008的会议上，著名社交网站LinkedIn的开发者做了2个关于LinkedIn网站的架构技术的演讲，目前这两个演讲的PPT已经可以下载了。下载地址如下：LinkedIn - A ...

  • linkedin 架构_投票：您如何使用LinkedIn？

    linkedin 架构Business social network LinkedIn announced that they’ve turned on their OpenSocial-powered web applications platform. The site is keeping the focus strictly on business and productivity ...

  • SNS网站LinkedIn的Java架构技术

    在JavaOne 2008的会议上，著名社交网站LinkedIn的开发者做了2个关于LinkedIn网站的架构技术的演讲可以看一下LinkedIn网站的基本情况：1.2千2百万用户2.每个月4百万独立用户访问3.每天4千万page view4.每天2百万搜索...

  • 系统架构演进路线及战术分析（微博、LinkedIn）

    微博，是基于用户关系的社交媒体平台，用户可以通过PC、手机等多种移动终端接入，以文字、图片、视频等多媒体形式，实现信息的即时分享、传播互动。微博基于公开平台架构，提供简单、前所未有的方式使用户能够公开...

  • 云计算：从基础架构原理到最佳实践之：云计算大数据分析与处理

    笔者认为，《云计算：从基础架构原理到最佳实践之：云计算大数据分析与处理》一书可以作为云计算从基础原理到最佳实践的一本专业技术书籍，系统阐述了云计算大数据分析与处理的技术原理、方法论、核心组件，并且以...

  • wdaaaaaaaaaafwawfw

    wdaaaaaaaaaafwawfw

  • scratch少儿编程逻辑思维游戏源码-十字鸭子.zip

    scratch少儿编程逻辑思维游戏源码-十字鸭子.zip

  • Android移动应用开发_ViewFlow自定义控件CircleFlowIndicator指示器网络图片加载缓存自动循环滚动手势滑动交互_横向循环平滑滚动广告条Banne.zip

    Android移动应用开发_ViewFlow自定义控件CircleFlowIndicator指示器网络图片加载缓存自动循环滚动手势滑动交互_横向循环平滑滚动广告条Banne

  • 前端开发_基于jQuery和EasyUI框架_企业级Web应用UI组件库与后台管理系统模板_提供GPL开源版本和商业授权版本的双重授权模式_适用于快速构建响应式管理后台和复杂数据可.zip

    前端开发_基于jQuery和EasyUI框架_企业级Web应用UI组件库与后台管理系统模板_提供GPL开源版本和商业授权版本的双重授权模式_适用于快速构建响应式管理后台和复杂数据可

  • C++编程实例100篇.zip

    《C++编程实例100篇》是一本深入实践、极具价值的编程教程，它针对C++编程语言提供了丰富的实例，旨在帮助读者更好地理解和掌握C++的各项特性与编程技巧。这本书的经典之处在于它将理论与实践相结合，通过100个精心设计的编程实例，覆盖了C++的各个核心领域，包括基础语法、面向对象编程、模板、异常处理、STL（标准模板库）等。 我们来探讨C++的基础语法。C++是C语言的增强版，它保留了C语言的高效性和灵活性，并引入了类、对象和继承等面向对象编程概念。基础语法包括变量声明、数据类型、运算符、控制结构（如if语句、for循环、while循环）、函数的定义和调用等。在实例中，你可能会遇到如何编写简单的程序，如计算两个数的和，或者实现一个简单的猜数字游戏。 C++的面向对象编程是其一大特色。通过类和对象，你可以构建复杂的软件系统。类是对象的蓝图，它定义了对象的属性和行为。实例化一个类，就是创建一个具体的对象。继承允许你创建新的类，这些类从现有的类派生，共享其属性和方法，同时可以添加新的功能。多态性是面向对象的另一个关键特性，它使得不同类型的对象可以对同一消息作出不同的响应。这些概念在实例中会以各种形式展现，例如设计一个图形界面的类层次，或实现一个简单的模拟游戏。 接下来是模板，C++的模板功能让代码更加通用，可以处理不同类型的数据。模板分为函数模板和类模板，前者可以创建泛型函数，后者可以创建泛型类。通过模板，你可以编写出高效且灵活的代码，比如实现一个通用的排序算法。 异常处理是C++中用于处理程序运行时错误的机制。当程序出现异常情况时，可以抛出一个异常，然后在适当的点捕获并处理这个异常。这使得代码能够优雅地处理错误，而不是让程序崩溃。实例中可能会有涉及文件操作或网络通信时可能出现的异常处理示例。

  • scratch少儿编程逻辑思维游戏源码-忍者无限跑者.zip

    scratch少儿编程逻辑思维游戏源码-忍者无限跑者.zip

  • 少儿编程scratch项目源代码文件案例素材-战斗机游戏.zip

    少儿编程scratch项目源代码文件案例素材-战斗机游戏.zip

  • 手工DIY行业_微信小程序云开发_手工坊预约管理系统_基于腾讯云开发技术的手工DIY行业线上线下结合解决方案_包含手工项目展示预约管理签到核销数据统计等完整功能_支持后台时段设置人.zip

    手工DIY行业_微信小程序云开发_手工坊预约管理系统_基于腾讯云开发技术的手工DIY行业线上线下结合解决方案_包含手工项目展示预约管理签到核销数据统计等完整功能_支持后台时段设置人

  • 【多媒体处理】FFmpeg常用命令总结：音频视频转换裁剪及特效处理实用技巧

    内容概要：本文档汇总了FFmpeg工具的多个实用命令示例，涵盖音频和视频处理的各个方面。包括但不限于：音频采样率转换、音频格式转为raw、查询音频文件时长与音量检测、调整音频音量大小、改变音频播放速度、视频逆序播放（针对无音频视频）、精准视频片段截取、音频片段截取、视频与音频合并处理、调整视频宽高比等。每个命令都提供了具体的参数设置方法； 适合人群：音视频编辑爱好者、多媒体处理领域的初学者或有一定经验的技术人员； 使用场景及目标：①在音频处理方面，可以完成从格式转换到音质调整的任务；②在视频处理上，能够实现基本的剪辑操作如切割、翻转、合并等；③为用户提供了一站式的解决方案，帮助用户快速掌握FFmpeg命令行工具的基本用法，提高工作效率； 阅读建议：本指南以命令实例为主，建议读者结合实际需求选择相应的命令进行尝试，在实践中理解各个参数的作用并灵活运用。

Global site tag (gtag.js) - Google Analytics