一、源码
// 如下代码实现 读取指定hdfs路径下tmp文件夹下面所有的文件(包括子文件)
@SpringBootApplication
public class DemoApplication implements CommandLineRunner {
// 构建FsShell对象
@Autowired
private FsShell shell;
// 实现run方法
@Override
public void run(String... args) {
for (FileStatus s : shell.lsr("/tmp")) {
System.out.println("> " + s.getPath());
}
}
public static void main(String[] args) {
SpringApplication.run(DemoApplication.class, args);
}
}
二、配置文件
// 指定对应的hdfs的url(hadoop filesystem uri)
spring:
main:
show_banner: false // 输出头部信息(作用不大 可以修改成true 看看)
hadoop:
fsUri: hdfs://10.33.96.241:8020
分享到:
相关推荐
spring hadoop 分布式 海量数据 集群 mapreduce 将hadoop于spring集成到一起工作
Spring for Apache Hadoop 提供了 Spring 框架用于创建和运行 Hadoop MapReduce、Hive 和 Pig 作业的功能,包括 HDFS 和 HBase。如果你需要简单的基于 Hadoop 进行作业调度,你可添加 Spring for Apache Hadoop 命名...
集成spring3-hadoop0.2.0 eclipse3.7快速开发 mapreduce程序!
Spring Data for Apache Hadoop API。 Spring Data for Apache Hadoop 开发文档
利用hadoop的rpc包简单与spring结合,实现了一个简单的分布式。
spring data hadoop 参考文档
java整合spring和hadoop HDFS全部jar
- 不懂运行,下载完可以私聊问,可远程教学 该资源内项目源码是个人的毕设,代码都测试ok,都是运行成功后才上传资源,答辩评审平均分达到96分,放心下载使用! <项目介绍> 1、该资源内项目代码都经过测试运行成功,...
基于Hadoop+SpringCloud+Vue的企业级网盘系统设计与实现
spring-data-hadoop-2.0.4.RELEASE
spring-data-hadoop-2.0.4.RELEASE.jar
spring-data-hadoop-1.0.0源码包
spring-data-hadoop的准官方文档、(既然是官方的、那就是英文的)内含xml的文件配置!!
spring-data-hadoop-1.0.0的jar包
基于SpringMVC+Spring+HBase+Maven搭建的Hadoop分布式云盘系统.zip 语言:Java 框架:springMVC 数据库:HBASE 可以作为毕业设计
spring-data-hadoop-2.2.0.RELEASE(含源码)
Java操作hbase完成hbase数据文件下载
这是spring的一个jar包,必不可少,必须需要,自取吧,我用了,还行
这是那个hadoop需要用到的jar包,倒进去就能用,一般用 maven远程下载,这个是下载来的,直接用spring-data-hadoop-core-2.4.0.RELEASE .jar
spring-hadoop-入门Spring for Apache Hadoop 入门示例