今天闲来无事，凭着对大数据和海量数据的浓厚兴趣，把很久之前想写但没写完的程序坚持写完了，下面简要介绍一下吧。
这些程序的主要目的是统计世界大学的信息，主要的数据来源就是人人网了，在人人网上有一个接口，就是在查询大学数据的时候，通过Ajax会向后台发送一个请求（http://s.xnimg.cn/a27085/allunivlist.js），这个请求的返回值就是一个js文件，而这个js文件就是一个很大的json对象，然后通过解析这个json对象就可以得到世界大学的信息了。
原来在论坛里面已经有人对此做了实现（http://www.iteye.com/topic/1118508），不过貌似比较复杂，源码看得都累了，所以自己想做一个实现，简化一些操作。
首先就是要保存下来这个js文件，对保存下来的js文件稍作修改：var allUnivList = [{"id":"00","univs":"",改成[{"id":0,"univs":"",也就是把前面变量定义去掉，因为已经没用了，还有就是把00改成0。基本上就是这些，下面是工程的源代码：
首先说明一下，要看得懂这里的源代码，其实还是需要花费一段时间的，主要就是对那个很大的json对象要很熟悉，下面是我整理出的一个对象框架，希望能让读者受益：（考虑到阅读方便，这里已经做了转码）
[{"id":0,"univs":"","name":"中国","provs":[//像中国这样的，国家没有大学，只有省市级别的才有大学
{"id":1,"univs":[{"id":1001,"name":"清华大学"}...{"id":2000,"name":"中北国际演艺学校"}],"country_id":0,"name":"北京"},
{"id":2,"univs":[{"id":2001,"name":"复旦大学"}...{"id":2169,"name":"上海大学巴士汽车学院"}],"country_id":0,"name":"上海"},
...
{"id":32,"univs":[{"id":32001,"name":"香港大学"}...{"id":32013,"name":"The Open University of HongKong"}],"country_id":0,"name":"香港"},
...
{"id":34,"univs":[{"id":34001,"name":"国立台湾大学"}...{"id":34055,"name":"铭传大学 "}],"country_id":0,"name":"台湾"}
]},
...//省略了很多国家
{"id":"28","univs":[//像印度这样的，没有省市级别的大学只有国家的大学
{"id":2800001,"name":"University of Delhi"}...{"id":2800008,"name":"St.xavier's College"}],
"name":"印度","provs":""},
{"id":"29","univs":[//奥地利也和印度一样只有国家级别的大学
{"id":2900001,"name":"Akademie der bildenden Künste Wien"}...{"id":2900110,"name":"Wirtschaftsuniversität Wien "}],
"name":"奥地利","provs":""}]
下面就是真正的源代码：
UniBean.java
package com.universities.samples;
public class UniBean {
private Integer id;
private String name;
public Integer getId() {
return id;
}
public void setId(Integer id) {
this.id = id;
}
public String getName() {
return name;
}
public void setName(String name) {
this.name = name;
}
}
ProBean.java
package com.universities.samples;
public class ProBean {
private Integer id;
private String univs;
private Integer country_id;
private String name;
public Integer getId() {
return id;
}
public void setId(Integer id) {
this.id = id;
}
public String getUnivs() {
return univs;
}
public void setUnivs(String univs) {
this.univs = univs;
}
public Integer getCountry_id() {
return country_id;
}
public void setCountry_id(Integer country_id) {
this.country_id = country_id;
}
public String getName() {
return name;
}
public void setName(String name) {
this.name = name;
}
}
ConBean.java
package com.universities.samples;
public class ConBean {
private Integer id;
private String univs;
private String name;
private String provs;
public Integer getId() {
return id;
}
public void setId(Integer id) {
this.id = id;
}
public String getUnivs() {
return univs;
}
public void setUnivs(String univs) {
this.univs = univs;
}
public String getName() {
return name;
}
public void setName(String name) {
this.name = name;
}
public String getProvs() {
return provs;
}
public void setProvs(String provs) {
this.provs = provs;
}
}
University.java
package com.universities.samples;
public class University {
private Long id;//自动生成。主要为防止冲突的
private String name;//大学名称
private Integer cid;//国家编号
private String county;//国家名
private Integer pid;//省市编号
private String province;//省市名
private Integer uid;//大学在国家里的编号
public Long getId() {
return id;
}
public void setId(Long id) {
this.id = id;
}
public String getName() {
return name;
}
public void setName(String name) {
this.name = name;
}
public Integer getCid() {
return cid;
}
public void setCid(Integer cid) {
this.cid = cid;
}
public String getCounty() {
return county;
}
public void setCounty(String county) {
this.county = county;
}
public Integer getPid() {
return pid;
}
public void setPid(Integer pid) {
this.pid = pid;
}
public String getProvince() {
return province;
}
public void setProvince(String province) {
this.province = province;
}
public Integer getUid() {
return uid;
}
public void setUid(Integer uid) {
this.uid = uid;
}
}
UniDao.java
package com.universities.samples;
import java.sql.Connection;
public class UniDao {
private static Connection connection = null;
private UniDao(){}
private static UniDao instance = new UniDao();
public static UniDao getInstance(){
return instance;
}
public static Connection getConnection() {
try {
Class.forName("com.mysql.jdbc.Driver");
connection = DriverManager.getConnection(
"jdbc:mysql://localhost:9906/school", "root", "root");
} catch (ClassNotFoundException e) {
e.printStackTrace();
} catch (SQLException e) {
e.printStackTrace();
}
return connection;
}
// 插入数据的方法
public static boolean insertUni(University university) {
boolean bool = false;
getConnection();
String sql = "insert into university(name,cid,county,pid,province,uid) values(?,?,?,?,?,?)";
try {
PreparedStatement statement = connection.prepareStatement(sql);
statement.setString(1, university.getName());
statement.setInt(2, university.getUid());
statement.setString(3, university.getCounty());
statement.setInt(4, university.getPid());
statement.setString(5, university.getProvince());
statement.setInt(6, university.getUid());
if (statement.executeUpdate() > 0) {
bool = true;
}
statement.close();
connection.close();
} catch (SQLException e) {
e.printStackTrace();
}
return bool;
}
}
Main.java
package com.universities.samples;
import java.io.BufferedReader;
public class Main {
private static List<UniBean> uniBeans = new ArrayList<UniBean>();
private static Map<ProBean, List<UniBean>> proBeans = new HashMap<ProBean, List<UniBean>>();
//主体方法，负责读入文件，将文件中的json对象转换成对应的Bean然后整理之后插入到数据库中
public void convert(File fileName){
try {
BufferedReader bf = new BufferedReader(new InputStreamReader(new FileInputStream(fileName)));
String content = null;
while ((content = bf.readLine())!=null) {//文件正文只有一行
while (content.indexOf("}")>0) {
String temp = content.substring(0, content.indexOf("}")+1);
String temp1 = temp.substring(temp.lastIndexOf("{"),temp.length());
if (!temp1.contains("univs")) {
JSONObject jsonObject = JSONObject.fromObject(temp1);
UniBean uniBean = (UniBean)JSONObject.toBean(jsonObject,UniBean.class);
uniBeans.add(uniBean);
}else if (!temp1.contains("provs")) {
temp1 = temp1.replaceAll("\\[[^\\]]*\\]", "\"\"");
JSONObject jsonObject = JSONObject.fromObject(temp1);
ProBean proBean = (ProBean)JSONObject.toBean(jsonObject,ProBean.class);
if (uniBeans.size()>0) {
String county = content.substring(content.indexOf("name")+7,content.indexOf("provs")-3);
for (UniBean uniBean : uniBeans) {
University university = new University();
university.setName(uniBean.getName());
university.setCid(proBean.getCountry_id());
university.setCounty(UnicodeToGB2312(county));
university.setPid(proBean.getId());
university.setProvince(proBean.getName());
university.setUid(uniBean.getId());
if (UniDao.insertUni(university)) {
System.out.println(university.getUid()+university.getCounty()+university.getName());
}
}
uniBeans.clear();
}
}else {
temp1 = temp1.replaceAll("\\[[^\\]]*\\]", "\"\"");
JSONObject jsonObject = JSONObject.fromObject(temp1);
ConBean conBean = (ConBean)JSONObject.toBean(jsonObject,ConBean.class);
if (proBeans.size()<=0 && uniBeans.size()>0) {//说明这个国家只有国家大学
for (UniBean uniBean : uniBeans) {
University university = new University();
university.setName(uniBean.getName());
university.setCid(conBean.getId());
university.setCounty(conBean.getName());
university.setPid(0);
university.setProvince(conBean.getProvs());
university.setUid(uniBean.getId());
if (UniDao.insertUni(university)) {
System.out.println(university.getUid()+university.getCounty()+university.getName());
}
}
}
uniBeans.clear();
}
content = content.substring(0, temp.lastIndexOf("{"))+content.substring(content.indexOf("}")+1, content.length());
}
}
bf.close();
} catch (FileNotFoundException e) {
e.printStackTrace();
} catch (IOException e) {
e.printStackTrace();
}
}
//转换字符编码，将所有的unicode替换成中文编码(gbk)
public static String UnicodeToGB2312(String str) {
String res = null;
StringBuffer sb = new StringBuffer();
try {
while (str.length() > 0) {
if (str.startsWith("\\u")) {
int x = Integer.parseInt(str.substring(2, 6), 16);
sb.append((char) x);
str = str.substring(6);
} else {
sb.append(str.charAt(0));
str = str.substring(1);
}
}
res = sb.toString();
} catch (Exception e) {
e.printStackTrace(System.err);
}
return res;
}
public static void main(String[] args) {
new Main().convert(new File("src//schools.txt"));
}
}
还有的就是不能少了的schools.txt因为文件较大，就不贴出来了，在附件中有下载。
代码写的很清晰，基本上不需要太多的解释，把数据全部插入到数据库中以后，在navicat中做了这样一个查询，就是统计每个国家的大学数量，然后按照数量降序排列：
首先比较惊讶的应该是中国和美国的差距，然后就是小日本这样的弹丸之国居然有这么高的大学数量，确实很让人深思。
然后还有一张就是下面的这张图片，这样看的话，江苏很给力呀，如果不出意外的话这张图基本上就代表了省市的经济实力吧，呵呵。
好吧，还是以技术为主，其他的还是少聊吧，项目中用到了json-lib，打包的项目放在附件中，有兴趣的可以去下载。
- 大小: 27.9 KB
- 大小: 26.7 KB
分享到：
very great thanks
相关推荐
NULL 博文链接：https://zc0604.iteye.com/blog/1288224
2014年6月 人人网高校数据 mysql数据直接导入使用 包含高中 大学 技校 技校大学没有具体分 由于之前找数据花了很多积分，但是还没有满意的，最后还是从人人网把数据扒下来处理了一下，所以本资源下载分设定比较高，...
模仿人人网模仿人人网模仿人人网模仿人人网模仿人人网模仿人人网模仿人人网模仿人人网模仿人人网模仿人人网模仿人人网模仿人人网模仿人人网模仿人人网模仿人人网模仿人人网模仿人人网模仿人人网模仿人人网模仿人人网...
一共包含了全国3049所大学, 从人人网拷贝的 (仅供学习交流, 请勿用于商业项目)
好东西，如果你舍不得10分，那你亏大了 人人网上选择大学的那个东西，你知道是干什么用的！
人人网大学资源库，这是导出的sql语句，下载即可直接导入使用。需要的就别吝啬那点积分了。
使用jquery实现的仿人人网高校级联选择，但无国家选择，学校数据保存在JS中
NULL 博文链接：https://yiyiboy2010.iteye.com/blog/1512987
人人网信息抓取与数据挖掘 人人网安全措施加强了，无法抓取原本没有权限访问的内容了。 不过，通过浏览器可以访问的内容，依旧可以抓取。 环境要求 ubuntu/win7/xp 皆可。 python3.2 --> python2.7 igraph/...
人人网项目网站
人人网广告报价 广告投放形式 人人网广告怎么做 人人网广告
人人都是数据分析师：tableau应用实战，每章案例讲解数据源
这是人人网开发api 这是人人网开发api 这是人人网开发api这是人人网开发api 这是人人网开发api 这是人人网开发api 这是人人网开发api 这是人人网开发api 这是人人网开发api这是人人网开发api 这是人人网开发api
使用web 中的div+css开发的人人网的登陆页面，几乎完全一样
人人网架构的变迁 Nuclear Rose 分布式key-value存储 数据自动复制到多个节点 数据自动分区到不同节点 存储容量无限扩展 CAP - CA 可用性 永远可写入(Hinted Handoff) 不存在单点风险 多一致性选项 DISCARD MIN ...
登陆人人网的教程,本教程是笔者亲手制作，不妥之处还望提出您的宝贵意见和建议，这是一个可执行文件，解压后就可直接打开，决对的绿色
辛苦好久了终于弄出来了人人网的接口！
模仿人人网的_javascript_全国高校选择表大学选择_university_univ, 其中有asp.net写的界面，C#语言，以及.cs文件和一个整理好的hmtl界面。
请配合 我之前的学校信息使用 人人网最新高校数据 高中 大学 省市: http://download.csdn.net/detail/rrttyyui/7512283