最近在做一个spark项目,顺便分享一下我的Scala入门过程。这一系列文章假定读者有一定的java或者其他面向对象编程语言基础。本文主要简单介绍文件的操作。
按惯例先上代码
val file = Source.fromFile("/Users/xiejing/Desktop/javascript") for (line <- file.getLines()) { println(line) } file.close() val webFile = Source.fromURL("https://www.baidu.com/"); webFile.foreach(print) webFile.close var javaWriter = new BufferedWriter(new FileWriter(new File("/Users/xiejing/Desktop/a.txt"))) for (i <- 4 to 10) { javaWriter.write(i.toString()) } javaWriter.flush() javaWriter.close()
scala.io.Source.fromFile读取文件, getline获得一个iterator,遍历获取每一行,比Java方便多了。但这里有个问题,由于getline获得的是iterator,一旦你使用它完成遍历,iterator就失效了,所以如果需要反复的遍历文件,推荐Source.fromFile(...).getLines.toList,将文件内容转化为List,可以反复遍历,但代价是内存的消耗。
我们也可以用Source.fromURL来读取网络文件。
由于Scala运行在JVM上,因此可以无障碍的使用Java的类库,所以你可以使用java.io这个库来读取文件。
相关推荐
scala 入门进阶、常用类库学习 项目结构 模块说明 模块 说明 目的 完成 语言核心特性、特性深度分析示例、常用函数 入门 √ 练习题-std-lib 巩固基础 √ 练习题-Scala函数式编程 函数式编程思想进阶 × scala-谜题 ...
glm的模板,因此,使用最新版本的SBT,您可以使用以下命令创建一个最小的scala-glm项目模板: sbt new darrenjw/scala-glm.g8 如果您只想尝试使用该库而不设置任何类型的项目,则可以使用以下会话进行操作:...
1. 在Windows操作系统中安装Scala 2. 在Linux操作系统中安装Scala 三、Scala 基础部分 3.1 声明值和变量 3.1.1 val变量 3.1.2 var 变量 3.2 级别数据类型和操作 3.2.1 级别数据类型 3.2.2 操作符 3.3 Range 3.4 打印...
附件里是我写的利用scala语言对akka集群操作的入门例子,包含了akka cluster 节点启动、节点注册、节点剔除、节点通信等功能,亲测可用。附件里共有两个文件,一个为scala编写的操作源代码,一个为相关的资源文件。
大数据与云计算教程课件 优质大数据课程 32.Spark入门之Scala(共173页).pptx 大数据与云计算教程课件 优质大数据课程 33.Spark入门(共40页).pptx 大数据与云计算教程课件 优质大数据课程 34.SparkSQL(共15页)....
要在您的项目中使用该库,请执行以下操作: "de.sciss" %% "asyncfile" % v当前版本v为"0.1.3"贡献请查看文件入门了解该库的一个好方法是查看 ,这是另一个使用AsyncFile的库。 这个想法是使用java.net.URI作为公共...
DynaML附带了 REPL的自定义版本,具有自动完成功能,文件操作和脚本功能。 端到端。 使用API创建复杂的预处理,训练模型(,,等),对 优化, 模型预测并结果。 企业友好。 利用JVM和Scala生态系统,使用Apache ...
DynaML随附了 REPL的自定义版本,具有自动完成功能,文件操作和脚本功能。 端到端。 使用API创建复杂的预处理,训练模型(,,等),对超参数 进行优化, 评估模型预测并可视化结果。 企业友好。 利用JVM和Scala...
入门将以下内容添加到您的build.sbt : libraryDependencies += "io.verizon.helm" %% "http4s" % "1.4.78-scalaz-7.1"Helm二进制文件位于Maven中央,因此不需要其他解析器。代数Consul操作由ConsulOp代数指定。 有...
本文讲述了Array、List、Map、本地磁盘文件、HDFS文件转化为DataFrame对象的方法;通过实际操作演示了dataFrame实例方法操作DataFrame对象、SQL语言操作DataFrame对象和ScalaAPI操作DataFrame对象
课程列表: 01.Hadoop简介 02.MapReduce 03.Hadoop YARN 04.MapReduce Eclipse开发 05.Hadoop入门数据分析实战 06.HDFS 07.HDFS Shell命令 08.HDFS文件接口 09.MapReduce序列化 ...32.Spark入门之Scala 。。。
大数据基础知识入门 社会保障事业部 张火磊 主要内容 大数据价值 03 大数据概念、特性、由来 01 大数据应用举例 04 02 Hadoop技术介绍 大数据概念、特性、由来 什么叫大数据? 麦肯锡全球研究所给出的定义是:一 种...
与 Hadoop 不同,Spark 和 Scala 能够紧密集成,其中的 Scala 可以像操作本地集合对象一样轻松地操作分布式数据集。 尽管创建 Spark 是为了支持分布式数据集上的迭代作业,但是实际上它是对 Hadoop 的补充,可以在 ...
然后按照生成的项目目录内的README文件中的说明进行操作。 动机 在2020年9月对Twitter进行民意测验后,我开始用示例编写本指南。 结果是不言而喻的,但我有责任改变当前的状况,因为我相信Nix和函数式编程是前进...
课程列表: 01.Hadoop简介 02.MapReduce 03.Hadoop YARN 04.MapReduce Eclipse开发 05.Hadoop入门数据分析实战 06.HDFS 07.HDFS Shell命令 08.HDFS文件接口 09.MapReduce序列化 ...32.Spark入门之Scala 。。。
课程列表: 01.Hadoop简介 02.MapReduce 03.Hadoop YARN 04.MapReduce Eclipse开发 05.Hadoop入门数据分析实战 06.HDFS 07.HDFS Shell命令 08.HDFS文件接口 09.MapReduce序列化 ...32.Spark入门之Scala 。。。
课程列表: 01.Hadoop简介 02.MapReduce 03.Hadoop YARN 04.MapReduce Eclipse开发 05.Hadoop入门数据分析实战 06.HDFS 07.HDFS Shell命令 08.HDFS文件接口 09.MapReduce序列化 ...32.Spark入门之Scala 。。。
您可以按照操作系统的建议安装JDK,也可以使用的预构建二进制文件。 SBT SBT是Scala社区中最常见的内置工具。 您可以下载。 如何开始 在您自己的个人档案上分叉此存储库。 分叉克隆存储库并运行后: sbt test 您...
与kafka,mysql,redis,http,elasticsearch从容错分析析:StateBackend,checkpoint从数据流向角度分析数据源socket通信,本地创建数据,从磁盘文件,从Kafka消息中间件中读取转换操作map :取一个元素并生产一个...
Scala/Java 工具,用于搜索位置是否存在敏感的主要持卡人数据。 扫描仪能够扫描多个来源,例如 多种操作系统,包括 Microsoft:registered: Windows 32/64、Mac OSX 32/64、Linux 32/64、Arm 本地文件系统 数据库...