Skynet是一个很响亮的名字，因为它是阿诺施瓦辛格主演的经典系列电影《终结者》里面的统治人类的超级计算机网络。不过本文的Skynet没这么恐怖，它是一个ruby版本的Google Map/Reduce框架的名字而已。
Google的Map/Reduce框架实在太有名气了，他可以把一个任务切分为很多份，交给n台计算机并行执行，返回的结果再并行的归并，最后得到运算的结果。据说Google一个搜索结果会Map到7000台服务器并行执行，这么多么可怕的分布式运算能力阿！有了Map/Reduce，程序员就可以在无需关注分布式框架的情况下，用简单的代码写出来健壮、并行的分布式应用程序，并且可以充分发挥计算机群集运算的能力。
如今能够实现Map/Reduce算法的框架已经有好几个了，其中最有名气的可能就是Yahoo发起的开源项目Hadoop，不过Hadoop并不是用ruby编写的，但在ruby的世界，Adam Pisoni已经开发出来了ruby版本的Map/Reduce框架，这就是Skynet。
Adam Pisoni开发Skynet的初衷是因为Adam Pisoni的公司Geni.com是一家定位于家族SNS的互联网网站。网站提供的新闻推送功能要求能够从大量的用户产生的信息当中提取特定用户感兴趣的内容，推送给用户。这实际上是一个分布式运算模型，要能够把任务分布到多台服务器上面执行，最后把任务归并回来。Adam Pisoni没有找到合适的框架，最终自己开发了Skynet，运用Map/Reduce算法来提供这个分布式运算平台。
用Skynet开发Map/Reduce的分布式应用程序非常简单，让我们举一个简单的例子看看吧：假设有一个1GB的文本文件，我们的任务是要统计该文件当中每个单词出现的次数统计。传统的做法当然很简单，顺序读入文件内容，进行单词统计就行了，但是毫无疑问，执行速度会很慢。如果我们有一个1000台服务器的运算群集，我们可以如何利用Skeynet来并发执行这个程序，从而缩短统计时间呢？
Map/Reduce算法的过程是：
1、Partition(划分数据)
把数据划分为1000份，这个过程由Skynet自动完成
2、Map
除了划分数据，还需要把运算该数据的代码也Map到每个运算节点上面去并发执行。这1000个节点各自执行自己的任务，执行完毕以后把执行结果返回
3、Partition
这1000分执行结果需要归并，于是我们再次划分数据，比方说划分为10份，这个过程也是Skynet自动完成的
4、Reduce
把Reduce代码和Reduce数据分发到10个节点执行，每个节点执行完毕返回数据。如果需要再次Reduce可以再次执行。最终Reduce为一个总共的结果。
其实Map/Reduce算法的原理是很简单的，好了，看看Skynet下面，我们怎么实现呢？其实我们需要编写的代码只有两个方法：一个map方法，告诉skynet如何执行每份数据，一个reduce方法，告诉skynet如何归并每份数据，所以这个并行算法最终用Skynet来写的话，也非常简单：
class MapreduceTest
include SkynetDebugger
def self.map(datas)
results = {}
datas.each do |data|
results[data] ||= 0
results[data] += 1
end
[results]
end
def self.reduce(datas)
results = {}
datas.each do |hashes|
hashes.each do |key,value|
results[key] ||= 0
results[key] += value
end
end
results
end
end
这个就是一个最简单、但是完整ruby版本的Map/Reduce代码了。我们需要编写一个map方法，告诉skynet去统计每个单词的出现次数，我们还需要编写一个reduce方法告诉skynet去归并每个map的统计结果。好了，剩下所有的工作都归Skeynet接管了，是不是很简单！
当然要让这个Map/Reduce跑起来我们还需要做一些工作，比方说安装skynet，配置skynet的并行节点等等，这些琐碎的工作可以看看skynet自己的文档：
http://skynet.rubyforge.org/doc/index.html，就不详述了。
值得一提的是Skynet可以和Rails框架良好的整合起来工作，你可以把Rails当中一些非常耗时、可以Map/Reduce的工作丢给Skynet去异步后台执行，比方说：
MyModel.distributed_find(:all, :conditions => “created_on < ’#{3.days.ago}’”).each(:some_method)
把最近3天以来所有的model查询处理以后要执行的耗时操作some_method交给Skynet，让Skynet动用他强大的运算网络去执行。
还可以异步执行：
model_object.send_later(:method, options, :save)
把耗时的任务交给Skynet去异步执行。
对于拥有强大运算网络、并且需要进行大量耗时运算的web2.0网站来说，Skynet真是一个很棒的工具，他可以让程序员很简单的编写处理健壮而高效的分布式应用程序！
分享到：
相关推荐
不过本文的Skynet没这么恐怖，它是一个ruby版本的Google Map/Reduce框架的名字而已。 Google的Map/Reduce框架实在太有名气了，他可以把一个任务切分为很多份，交给n台计算机并行执行，返回的结果再并行的归并，最后...
skynet-mingw-master 需要的自己下载哦 需要下载mingw去编译
skynet-mingw, 对skynet无任何改动的windows版
针对windows环境下quick-cocos项目（lua5.1）嵌入skynet-crypt的使用，自己在云风skynet源码的lua-crypt.c文件的基础上做了一些修改，以适应项目环境。
云风打开的服务器源码
skynet windows 编译
浅析SKYNET-X自动化系统监视源处理功能.rar
浅析SKYNET-X自动化系统监视源处理功能.pdf
用skynet搭建的服务端框架,架构使用棋牌大厅游戏的架构, 当然也可以用做全球同服的RPG游戏服务端 支持分布式布署, 网关和游戏服务可以是动态调整的 支持sproto协议, 兼容protobuf, 只需要做小小改动可以替换为...
关于skynet-mingw 是的windows平台的实现。其主要特点是： skynet 以submodule链接，方便升级，确保不改。 仅扩展了700行代码，方便维护。 自动更新skynet，自动构建，自动化测试，确保质量。 编译 不想自行编译的...
介绍skynet的启动流程和一些相关细节。包括一些方法的介绍和流程图。
skynet_fly是基于skynet扩展的可以快速开发web，游戏，和需要rpc调用的框架。 使用skynet_fly的好处： * 支持不停服更新。 * 一键生成skynet的配置文件和skynet_fly的配置文件以及配套shell脚本。 * 对匹配房间类...
skynet的window版本，可在win10的vs2019上运行。。。可以用windows版本skynet开发游戏服务器。
skynet开发教程详解，附有代码，3分不亏，超级实用
天网防火墙个人版是个人电脑使用的网络安全程序，根据管理者设定的安全规则把守网络，提供强大的访问控制、信息过滤等功能，帮你抵挡网络入侵和攻击，防止信息泄露。天网防火墙把网络分为本地网和互联网，可针对来自...
skynet 源码 已编译好skynet 源码 已编译好
core全新的ORM框架 .net core基于nacos服务注册和发现 基于 Spring Security oAuth 深度定制，支持社交登录等 完整的OAuth 2.0 流程，资源服务器控制权限 项目结构 ├─skynet-cloud │ │ │ ├─01.Skynet.Cloud....
SKYNET-Dota2-Mods
skynet是云风编写的游戏服务端底层管理框架,底层由C编写,配套lua作为脚本使用,可换python等其他脚本语言.
skynet客户端