@青牛 青牛,您好。这个警告会永远下去,任务执行不了。我觉得还是开发环境配置的问题。
windows的spark-defaults.conf配置如下:
spark.master spark://hadoop1:7077
spark.driver.host 192.168.1.111
spark.driver.memory 512m
spark.executor.instances 2
windowns的spark-env.sh配置如下:
export SPARK_DAEMON_MEMORY=512M
export SPARK_MASTER_HOST=hadoop1
export SPARK_MASTER_PORT=7077
export SPARK_WORKER_CORES=1
export SPARK_EXECUTOR_MEMORY=512M
export SPARK_CORES_MAX=3
export SPARK_CLASSPATH=D:\spark\jars;D:\hadoop-2.7.4\share\hadoop\hdfs*;D:\hadoop-2.7.4\share\hadoop\common*
windows的slaves配置如下:
hadoop1
linux的进程如下:
[hadoop@hadoop1 ~]$ jps
4661 Worker
4537 Master
4617 Worker
6558 Jps
青年老师,你那边能整个,scala语言与python 语言,分别以standalone 与yarn 模式的windows下idea开发环境出来吗?