资讯频道 → 编程语言
阅读更多

12顶
0踩

编程语言

转载新闻 Linkedin工程师是如何优化他们的Java代码的

2014-12-18 15:38 by 正式编辑 cao345657340 评论(14) 有7030人浏览
Linkedin java
最近在刷各大公司的技术博客的时候，我在Linkedin的技术博客上面发现了一篇很不错博文。这篇博文介绍了Linkedin信息流中间层Feed Mixer，它为Linkedin的Web主页，大学主页，公司主页以及客户端等多个分发渠道提供支撑（如下图所示）。



在Feed Mixer里面用到了一个叫做SPR（念“super”）的库。博文讲的就是如何优化SPR的java代码。下面就是他们总结的优化经验。

1. 谨慎对待Java的循环遍历

Java中的列表遍历可比它看起来要麻烦多了。就以下面两段代码为例：

A: 
private final List<Bar> _bars;
for(Bar bar : _bars) {
    //Do important stuff
}

B: 
private final List<Bar> _bars;
for(int i = 0; i < _bars.size(); i++) {
Bar bar = _bars.get(i);
//Do important stuff
}

代码A执行的时候 会为这个抽象列表创建一个迭代器，而代码B就直接使用 get(i) 来获取元素，相对于代码A省去了迭代器的开销。

实际上这里还是需要一些权衡的。代码A使用了迭代器，保证了在获取元素的时候的时间复杂度是 O(1) （使用了 getNext() 和 hasNext() 方法），最终的时间复杂度为 O(n) 。但是对于代码B，循环里每次在调用 _bars.get(i) 的时候花费的时间复杂度为 O(n)  (假设这个list为一个 LinkedList)，那么最终代码B整个循环的时间复杂度就是 O(n^2)  (但如果代码B里面的list是 ArrayList， 那 get(i) 方法的时间复杂度就是 O(1)了)。

所以在决定使用哪一种遍历的方式的时候，我们需要考虑列表的底层实现，列表的平均长度以及所使用的内存。最后因为我们需要优化内存，再加上 ArrayList 在大多数情况下查找的时间复杂度为 O(1) ，最后决定选择代码B所使用的方法。

2.在初始化的时候预估集合的大小

从Java的这篇 文档我们可以了解到: “一个HashMap 实例有两个影响它性能的因素：初始大小和加载因子（load factor）。 […] 当哈希表的大小达到初始大小和加载因子的乘积的时候，哈希表会进行 rehash操作 […] 如果在一个HashMap 实例里面要存储多个映射关系时，我们需要设置足够大的初始化大小以便更有效地存储映射关系而不是让哈希表自动增长让后rehash，造成性能瓶颈。”

在Linkedin实践的时候，常常碰到需要遍历一个 ArrayList 并将这些元素保存到 HashMap 里面去。将这个 HashMap 初始化预期的大小可以避免再次哈希所带来的开销。初始化大小可以设置为输入的数组大小除以默认加载因子的结果值（这里取0.7）：

优化前的代码： 
HashMap<String,Foo> _map;
void addObjects(List<Foo> input)
{
  _map = new HashMap<String, Foo>();
  for(Foo f: input)
  {
    _map.put(f.getId(), f);
  }
}

优化后的代码 
HashMap<String,Foo> _map;
void addObjects(List<Foo> input)
{
_map = new HashMap<String, Foo>((int)Math.ceil(input.size() / 0.7));
for(Foo f: input)
{
_map.put(f.getId(), f);
}
}


3. 延迟表达式的计算

在Java中，所有的方法参数会在方法调用之前，只要有方法参数是一个表达式的都会先这个表达式进行计算（从左到右）。这个规则会导致一些不必要的操作。考虑到下面一个场景：使用ComparisonChain比较两个 Foo 对象。使用这样的比较链条的一个好处就是在比较的过程中只要一个 compareTo 方法返回了一个非零值整个比较就结束了，避免了许多无谓的比较。例如现在这个场景中的要比较的对象最先考虑他们的score, 然后是 position, 最后就是 _bar 这个属性了： 
public class Foo {
private float _score;
private int _position;
private Bar _bar;
public int compareTo (Foo other) {
　　return ComparisonChain.start().
　　compare(_score, other.getScore()).
　　compare(_position, other.getPosition()).
　　compare(_bar.toString(), other.getBar().toString()).
　　result;
}
}

但是上面这种实现方式总是会先生成两个 String 对象来保存 bar.toString() 和other.getBar().toString() 的值，即使这两个字符串的比较可能不需要。避免这样的开销，可以为Bar 对象实现一个 comparator： 
public class Foo {
private float _score;
private int _position;
private Bar _bar;
private final BarComparator BAR_COMPARATOR = new BarComparator();
public int compareTo (Foo other) {
    return ComparisonChain.start().
    compare(_score, other.getScore()).
    compare(_position, other.getPosition()).
    compare(_bar, other.getBar(), BAR_COMPARATOR).
    result();
}
private static class BarComparator implements Comparator<Bar> {
@Override
    public int compare(Bar a, Bar b) {
    return a.toString().compareTo(b.toString());
}
}
}


4. 提前编译正则表达式

字符串的操作在Java中算是开销比较大的操作。还好Java提供了一些工具让正则表达式尽可能地高效。动态的正则表达式在实践中比较少见。在接下来要举的例子中，每次调用 String.replaceAll() 都包含了一个常量模式应用到输入值中去。因此我们预先编译这个模式可以节省CPU和内存的开销。

优化前： 
private String transform(String term) {
    return outputTerm = term.replaceAll(_regex, _replacement);
}

优化后： 
private final Pattern _pattern = Pattern.compile(_regex);
private String transform(String term) {
    String outputTerm = _pattern.matcher(term).replaceAll(_replacement);
}

5. 尽可能地缓存Cache it if you can

将结果保存在缓存里也是一个避免过多开销的方法。但缓存只适用于在相同数据集撒花姑娘吗的相同数据操作（比如对一些配置的预处理或者一些字符串处理）。现在已经有多种LRU（Least Recently Used ）缓存算法实现，但是Linkedin使用的是 Guava cache (具体原因见这里) 大致代码如下： 
private final int MAX_ENTRIES = 1000;
private final LoadingCache<String, String> _cache;
// Initializing the cache
_cache = CacheBuilder.newBuilder().maximumSize(MAX_ENTRIES).build(new CacheLoader<String,String>() {
@Override
public String load(String key) throws Exception {
return expensiveOperationOn(key);
}
}
);
//Using the cache
String output = _cache.getUnchecked(input);


6. String的intern方法有用，但是也有危险

String 的 intern 特性有时候可以代替缓存来使用。

从这篇文档，我们可以知道：
引用
“A pool of strings, initially empty, is maintained privately by the class String. When the intern method is invoked, if the pool already contains a string equal to this String object as determined by the equals(Object) method, then the string from the pool is returned. Otherwise, this String object is added to the pool and a reference to this String object is returned”.

这个特性跟缓存很类似，但有一个限制，你不能设置最多可容纳的元素数目。因此，如果这些intern的字符串没有限制（比如字符串代表着一些唯一的id），那么它会让内存占用飞速增长。Linkedin曾经在这上面栽过跟头——当时是对一些键值使用intern方法，线下模拟的时候一切正常，但一旦部署上线，系统的内存占用一下就升上去了（因为大量唯一的字符串被intern了）。所以最后Linkedin选择使用 LRU 缓存，这样可以限制最大元素数目。

最终结果

SPR的内存占用减少了75%，进而将feed-mixer的内存占用减少了 50% (如下图所示)。这些优化减少了对象的生成，进而减少了GC得频率，整个服务的延迟就减少了25%。


  • 大小: 14.8 KB
  • 大小: 27.4 KB
来自: 码农网
12
顶
0
踩
评论 共 14 条 请登录后发表评论
14 楼 foreach4 2015-01-22 14:27
truekbcl 写道
dsjt 写道
truekbcl 写道
c++的这些东西完全没有消耗，花这么多心思去优化，还有什么理由不用c++？



因为文中提到的优化都是使用不合理，而不是因为语言本身性能差。
你用c++写个linkedlist然后用索引遍历，照样消耗大。


c++都会用迭代器，没有效率损耗。所以你用for或者foreach没有区别。
而且链表这样的结构，为什么要有get(i)这样的函数？这样的设计本身就是有问题的。

truekbcl 写道
dsjt 写道
truekbcl 写道
c++的这些东西完全没有消耗，花这么多心思去优化，还有什么理由不用c++？



因为文中提到的优化都是使用不合理，而不是因为语言本身性能差。
你用c++写个linkedlist然后用索引遍历，照样消耗大。


c++都会用迭代器，没有效率损耗。所以你用for或者foreach没有区别。
而且链表这样的结构，为什么要有get(i)这样的函数？这样的设计本身就是有问题的。

get(i) 方法没用？ 你每次都要一遍遍的去遍历？
13 楼 scbzly_4223 2015-01-12 20:14
very good!
12 楼 fair_jm 2015-01-10 21:15
input.size() / 0.7
为什么不用两个构造参数的 size,1
设置因子为1呢?
11 楼 g21121 2015-01-08 15:34
for(int i = 0; i < _bars.size(); i++)
本身就可以优化为：
for(int i = 0,j=_bars.size(); i < j; i++)

这真是他们写的吗？
10 楼 white_crucifix 2014-12-22 16:22
hotapple 写道
white_crucifix 写道
嗯，java的fori 和 foreach 曾经做过简单的测试，的确fori要快上2到3倍的，可是人家就是喜欢foreach啊怎么办


试的是arraylist吧，那试试linkedlist，链表结构fori会慢很多。看RandomAccess接口说明。


嗯，毕竟链表的遍历是On2
9 楼 hotapple 2014-12-22 14:55
white_crucifix 写道
嗯，java的fori 和 foreach 曾经做过简单的测试，的确fori要快上2到3倍的，可是人家就是喜欢foreach啊怎么办


试的是arraylist吧，那试试linkedlist，链表结构fori会慢很多。看RandomAccess接口说明。
8 楼 truekbcl 2014-12-19 17:10
dsjt 写道
truekbcl 写道
c++的这些东西完全没有消耗，花这么多心思去优化，还有什么理由不用c++？



因为文中提到的优化都是使用不合理，而不是因为语言本身性能差。
你用c++写个linkedlist然后用索引遍历，照样消耗大。


c++都会用迭代器，没有效率损耗。所以你用for或者foreach没有区别。
而且链表这样的结构，为什么要有get(i)这样的函数？这样的设计本身就是有问题的。
7 楼 white_crucifix 2014-12-19 13:15
嗯，java的fori 和 foreach 曾经做过简单的测试，的确fori要快上2到3倍的，可是人家就是喜欢foreach啊怎么办
6 楼 houyujiangjun 2014-12-19 10:24
太细了.....  
5 楼 dsjt 2014-12-19 09:31
说为什么不用c++，
就好比网吧网管：重启就能解决问题，为什么不重启呢？
4 楼 dsjt 2014-12-19 09:30
truekbcl 写道
c++的这些东西完全没有消耗，花这么多心思去优化，还有什么理由不用c++？



因为文中提到的优化都是使用不合理，而不是因为语言本身性能差。
你用c++写个linkedlist然后用索引遍历，照样消耗大。
3 楼 truekbcl 2014-12-19 08:57
c++的这些东西完全没有消耗，花这么多心思去优化，还有什么理由不用c++？
2 楼 dsjt 2014-12-18 18:56
优化就应该针对耗时耗空间的地方。
1 楼 beck5859509 2014-12-18 18:25

发表评论

您还没有登录,请您登录后再发表评论

相关推荐

  • 软工考试——软件工程

    最后一个星期的复习重点理所应当放在了集中的考点上，所以我主要总结一下软件工程经常考的一些知识 考点分布（红色部分是考过的）

  • 【STUDY | 高级软工】考试内容整理

    高级软件工程

  • Linkedin 工程师如何优化他们的 Java 代码

    最近在刷各大公司的技术博客的时候，我在Linkedin的技术博客上面发现了一篇很不错博文。这篇博文介绍了Linkedin信息流中间层Feed Mixer，它为Linkedin的Web主页，大学主页，公司主页以及...博文讲的就是如何优化SPR...

  • Linkedin工程师是如何优化他们的Java代码的(转)

    英文原文：LinkedIn Feed: Faster with Less...这篇博文介绍了Linkedin信息流中间层Feed Mixer，它为Linkedin的Web主页，大学主页，公司主页以及客户端等多个分发渠道提供支撑（如下图所示）。 　在Feed Mi...

  • java韩顺平最新教程，Java工程师进阶

    LinkedIn 内部的应用、Kafka 的主要设计目标以及为什么使用消息系统 第 2 章 Kafka 的架构：介绍 Kafka 的基本组成、拓扑结构及其内部的通信协议 第 3 章 Broker 概述：描述 Kafka 集群组成的基本元素 Broker Server...

  • 掌握P5级Java面试技巧

    HashMap底层原理，扩容机制，jdk8以后会使用红黑树优化？红黑树和二叉平衡树的区别，红黑树和B树，B+树的区别，Mysql二大引擎索引底层实现，HashMap在多线程环境中为何出错？ConcurrentHashMap底层实现，CAS，原子...

  • 首席工程师揭秘：LinkedIn大数据后台是如何运作的

    Jay Kreps是来自LinkedIn的首席工程师，他表示日志几乎在计算机产生的时候就存在，除了可用在分布式计算或者抽象分布式计算模型内部之外，还有广泛的用途。本文中他讲述的日志的原理和通过把日志用做单独服务来实现...

  • 欧母龙PLC例程源码陶瓷厂用程序及图纸

    欧母龙PLC例程源码陶瓷厂用程序及图纸提取方式是百度网盘分享地址

  • node-v19.6.1-darwin-arm64.tar.xz

    Node.js，简称Node，是一个开源且跨平台的JavaScript运行时环境，它允许在浏览器外运行JavaScript代码。Node.js于2009年由Ryan Dahl创立，旨在创建高性能的Web服务器和网络应用程序。它基于Google Chrome的V8 JavaScript引擎，可以在Windows、Linux、Unix、Mac OS X等操作系统上运行。 Node.js的特点之一是事件驱动和非阻塞I/O模型，这使得它非常适合处理大量并发连接，从而在构建实时应用程序如在线游戏、聊天应用以及实时通讯服务时表现卓越。此外，Node.js使用了模块化的架构，通过npm（Node package manager，Node包管理器）,社区成员可以共享和复用代码，极大地促进了Node.js生态系统的发展和扩张。 Node.js不仅用于服务器端开发。随着技术的发展，它也被用于构建工具链、开发桌面应用程序、物联网设备等。Node.js能够处理文件系统、操作数据库、处理网络请求等，因此，开发者可以用JavaScript编写全栈应用程序，这一点大大提高了开发效率和便捷性。 在实践中，许多大型企业和组织已经采用Node.js作为其Web应用程序的开发平台，如Netflix、PayPal和Walmart等。它们利用Node.js提高了应用性能，简化了开发流程，并且能更快地响应市场需求。

  • 集比赛直播、新闻资讯、数据查询为一体的APP，支持Android和iOS双平台.zip

    NBA Player是由React Native创作的集比赛直播、新闻资讯、数据查询为一体的APP，支持Android和iOS双平台

  • 那年的毕业设计.zip

    那年的毕业设计

  • 精品企业智慧中台规划与建设总体方案.rar

    企业智慧中台规划与建设总体方案是一个针对企业数字化转型需求而设计的综合性IT解决方案。该方案旨在构建一个集中、高效和灵活的中台架构，通过整合企业内外部的数据资源、业务流程和应用服务，为企业提供一个统一的数字化运营平台。在当前的商业环境下，企业面临着激烈的市场竞争和不断变化的客户需求。为了应对这些挑战，企业需要快速响应市场变化，提高运营效率，降低成本，并实现持续创新。因此，企业智慧中台的规划和建设成为了关键任务。该方案的核心思想是将企业的业务逻辑、数据管理和技术创新紧密结合起来，形成一个高度集成的智慧中台系统。通过构建标准化的数据模型和接口，实现数据的一致性和可访问性，同时提供丰富的数据分析和挖掘工具，帮助企业发现潜在的商业价值和机会。此外，该方案还注重用户体验和业务敏捷性。通过构建灵活的应用开发框架和API接口，支持快速的业务迭代和定制化需求，满足不同部门和角色的个性化需求。同时，通过智能化的自动化流程和决策支持系统，提高企业的决策效率和准确性。总之，企业智慧中台规划与建设总体方案是一个全面而深入的IT解决方案，旨在帮助企业实现数字化转型，提升竞争力和创新能力。通过构建集中、高效和灵活

  • node-v14.2.0-linux-arm64.tar.xz

    Node.js，简称Node，是一个开源且跨平台的JavaScript运行时环境，它允许在浏览器外运行JavaScript代码。Node.js于2009年由Ryan Dahl创立，旨在创建高性能的Web服务器和网络应用程序。它基于Google Chrome的V8 JavaScript引擎，可以在Windows、Linux、Unix、Mac OS X等操作系统上运行。 Node.js的特点之一是事件驱动和非阻塞I/O模型，这使得它非常适合处理大量并发连接，从而在构建实时应用程序如在线游戏、聊天应用以及实时通讯服务时表现卓越。此外，Node.js使用了模块化的架构，通过npm（Node package manager，Node包管理器）,社区成员可以共享和复用代码，极大地促进了Node.js生态系统的发展和扩张。 Node.js不仅用于服务器端开发。随着技术的发展，它也被用于构建工具链、开发桌面应用程序、物联网设备等。Node.js能够处理文件系统、操作数据库、处理网络请求等，因此，开发者可以用JavaScript编写全栈应用程序，这一点大大提高了开发效率和便捷性。 在实践中，许多大型企业和组织已经采用Node.js作为其Web应用程序的开发平台，如Netflix、PayPal和Walmart等。它们利用Node.js提高了应用性能，简化了开发流程，并且能更快地响应市场需求。

  • 欧母龙PLC例程源码自动包装欧姆龙PLC实例程序

    欧母龙PLC例程源码自动包装欧姆龙PLC实例程序提取方式是百度网盘分享地址

  • 2017年 可穿戴电子设备中无线充电技术的应用专利技术综述.zip

    2017年 可穿戴电子设备中无线充电技术的应用专利技术综述.zip

  • 机械设计下拉式四柱液压机sw16可编辑非常好的设计图纸100%好用.zip

    机械设计下拉式四柱液压机sw16可编辑非常好的设计图纸100%好用.zip

  • python制作九宫格切图器

    请你介绍一下九宫格 九宫格是一种将一个方形划分为九个小方格的布局形式。每个小方格可以容纳一个元素或显示一个图标，用于进行导航、操作或展示内容。 以下是对九宫格的一些基本说明： 布局结构：九宫格布局通常由三行三列的方格组成，其中每个方格都有相同的大小和形状。通过这种均匀的网格结构，可以更有效地组织和展示信息。 导航和操作：九宫格常用于移动应用程序、网站和用户界面设计中，作为导航和操作的元素。每个方格可以代表一个功能、页面或模块，用户可以点击相应的方格来执行相应的操作。 图标排列：在九宫格布局中，每个方格通常包含一个图标，用来表示相应的功能或内容。这些图标可以是文本、图像、按钮或其他可交互的元素。通过合适的图标选择和排列方式，可以使界面更加直观和易于操作。

  • 中医与人工智能-基于Protégé构建知识图谱

    https://blog.csdn.net/m0_38139250/article/details/121877883 中医与人工智能-基于Protégé构建知识图谱 配套资源

  • 毕业设计 基于Python+Flask+Vue的知识图谱(Neo4j)的课程学习智能问答系统源码+详细文档+全部数据资料高分项目

    【资源说明】 毕业设计 基于Python+Flask+Vue前后端分离的知识图谱(Neo4j)的课程学习智能问答系统源码+详细文档+全部数据资料（高分项目）毕业设计 基于Python+Flask+Vue前后端分离的知识图谱(Neo4j)的课程学习智能问答系统源码+详细文档+全部数据资料（高分项目）毕业设计 基于Python+Flask+Vue前后端分离的知识图谱(Neo4j)的课程学习智能问答系统源码+详细文档+全部数据资料（高分项目） 【备注】 1、该项目是个人高分毕业设计项目源码，已获导师指导认可通过，答辩评审分达到95分 2、该资源内项目代码都经过mac/window10/11测试运行成功，功能ok的情况下才上传的，请放心下载使用！ 3、本项目适合计算机相关专业(如软件工程、计科、人工智能、通信工程、自动化、电子信息等)的在校学生、老师或者企业员工下载使用，也可作为毕业设计、课程设计、作业、项目初期立项演示等，当然也适合小白学习进阶。 4、如果基础还行，可以在此代码基础上进行修改，以实现其他功能，也可直接用于毕设、课设、作业等。 欢迎下载，沟通交流，互相学习，共同进步！

Global site tag (gtag.js) - Google Analytics