@Xibaibai 可以是读 没毛病 是一台机器上的多个节点部署 还是多台机器部署的 没有具体描述的问题就像“我想知道咋赚钱”一样难回答

I/O is overloaded 一般是磁盘写队列负载太高了 要看是什么进程 什么节点的写操作量太大 一般的解决思路是先找进程 再找代码

缺少jar包把
bytedeco.javacpp-presets" % "opencv" % ("2.4.9-" + javacppVersion) classifier "",
"org.bytedeco.javacpp-presets" % "opencv" % ("2.4.9-" + javacppVersion) classifier "linux-x86_64",
"org.bytedeco" % "javacpp" % javacppVersion ,
"net.imagej" % "ij" % "1.49d"
这些包都有吗

1、分布式环境下 flume不提供多点排序功能
2、flume所在的kafka集群能接收到数据 说明flume端应该没问题
sources.selector.type=replicating 好像少这个参数配置吧 将同样的数据无差异sink到多个输出端，所以通道是复制模式

一般是这样处理
javaDstream.foreachRDD(new VoidFunction<JavaRDD>() {
public void call(JavaRDD o) throws Exception {
System.out.println("自定义的处理逻辑");
}
});

转不了，dstream里面包含了rdd，只能通过dstream的foreachRDD方法访问rdd

Windows的问题很多都是权限问题不是代码问题 建议你在linux系统上调试一下

spark-jobserver提供了一个用于提交和管理Apache Spark作业(job)、jar文件和作业上下文（SparkContext）的RESTful接口,
是一个与spark项目本地独立的额外的项目，你可以理解为很多spark的管理和配置都可以用api的方式进行使用

TeraSort的输出是正确的吗

hive.server2.authentication=CUSTOM

hive配置中增加hive.server2.authentication = NOSASL
建立Connection(host="myserver", auth='NOSASL')

联网环境下# yum install python-pip gcc gcc-c++ python-virtualenv cyrus-sasl-devel

SequenceFileOutputFormat.setOutputCompressionType(job, SequenceFile.CompressionType.BLOCK);
试试