如题,spark1.5.1, 需要依赖什么外部包吗?
apache.commons.io和apache.commons.net 两个包就行了
@青牛 需要用sparksql去读吗?还是用sparkCore去读?
@歌唱祖国 都可以啊 普通的java api也能读
@青牛 spark的api用哪个呢?
@青牛 有例子吗?
@歌唱祖国 你可以参考下https://blog.csdn.net/chenyongtu110/article/details/51866534
@青牛 那样不是写个工具类,在Driver端执行的,还是单节点读取数据呢,还有更高效的方式吗?
@歌唱祖国 为啥要在driver端执行?
@青牛 代码中用到sftp工具类下载数据不是在Driver端运行的吗?难道会发送到executor去执行吗?这个数据还没用sc.textFile()呢。一直对代码的运行不够浅析,代码中触发action操作才会将代码给Executor 行,其它代码还是在Driver端运行,我这样理解对吗?请指正。
@歌唱祖国 mapPartition函数了解一下
`单行代码`
关注海汼部落技术社区