让随着风飘
- 浏览: 6437 次
- 性别:
- 来自: 成都
-
最新评论
文章列表
java.lang.NoSuchMethodError解决通用思路
本人在idea中写spark程序报找不到方法，令人抓狂，这里记下来，顺便为同样遇到此问题的朋友提供一个思路。
一，记住所有找不到方法的异常都是因为重复版本问题。程序使用了错误的 ...
手动制作jar源码包
本来绝大部分开源jar包都有附带的源码包，但是有的有时候maven就是下载不下来,网上也找不到，那么作者就在这里分享一个手动制作源码包的过程。
这里以hadoop-common-2.8.0-sources.jar为例
首先要获取源 ...
Windows环境下搭建storm本地开发环境
所需软件zookeeper,storm,eclipse
在windows上搭建开发调试环境，因为storm依赖zookeeper，所以在windows上也需要运行zookeeper，单机的就好。
第一步：安装zookeeper
下载压缩包zookeeper-3.5.3-beta.tar.gz
解压到比如D:\ProgramFiles\BigData目录下面
修改zookeeper/conf下面的zoo_sample.cfg为zoo.cfg
配置zoo.cfg
SparkStreaming与kafka整合小项目实践含所有代码带详细注释
总流程：自制日志生成器生成含数据日志，使用kafkaAppender直接发送到kafka，SparkStreaming从kafka消费日志，并流式处理将结果发送到kafka另一个topic，Java后台从kafka消费日志分析结果，实现秒级大数据实时分析展示。
版本
kafka_2.11-0.11.0.1
spark-2.1.1-bin-hadoop2.7
scala-2.11.11
Jdk-1.8
Spark使用Intelij Idea
其余使用eclipse
第一步
日志 ...
encodings = requests.utils.get_encodings_from_content(page.text)
//获取page内容编码
page.encoding="utf-8"
//用utf-8解码网页内容
f = open("D:\\python\\a.txt","a+",encoding="utf-8")
//设置读写文件所用编解码格式