海汼部落
  • 首页
  • 课程
  • 实战
  • 云平台
  • 部落
  • 公告
  • 分享
  • 问答
    登 录 注册

漂泊

第 54 位会员

1 关注者
28 评论
6 话题

  • Ta 发布的话题
  • Ta 发表的回复
  • Ta 关注的用户
  • Ta 赞过的话题
  1. 个人中心
  2. Ta 发表的回复(28)
  • Windows idea 平台下 spark standalone 模式 开发环境?

    @青牛 青牛,您好。这个警告会永远下去,任务执行不了。我觉得还是开发环境配置的问题。

    windows的spark-defaults.conf配置如下:

    spark.master spark://hadoop1:7077
    spark.driver.host 192.168.1.111
    spark.driver.memory 512m
    spark.executor.instances 2

    windowns的spark-env.sh配置如下:

    export SPARK_DAEMON_MEMORY=512M
    export SPARK_MASTER_HOST=hadoop1
    export SPARK_MASTER_PORT=7077
    export SPARK_WORKER_CORES=1
    export SPARK_EXECUTOR_MEMORY=512M
    export SPARK_CORES_MAX=3
    export SPARK_CLASSPATH=D:\spark\jars;D:\hadoop-2.7.4\share\hadoop\hdfs*;D:\hadoop-2.7.4\share\hadoop\common*

    windows的slaves配置如下:

    hadoop1

    linux的进程如下:

    [hadoop@hadoop1 ~]$ jps
    4661 Worker
    4537 Master
    4617 Worker
    6558 Jps

    青年老师,你那边能整个,scala语言与python 语言,分别以standalone 与yarn 模式的windows下idea开发环境出来吗?

  • 信息被删除或无权限查看
  • 海牛部落 hadoop 系列教程(十六):mapreducer 编程,自定义 partition 实现整体排序、自定义组合 key 实现二次排序、assembly 打包方式、集群运行 mr 程序

    牛

  • 海牛部落 spark 系列教程(三十八):spark 介绍、RDD 原理、spark 开发环境搭建

    666

  • 海牛部落 spark 系列教程(三十九):RDD 编程基础使用

    我要Python 版本的

  • 海牛部落 spark 系列教程(四十二):spark-sql 编程

    有没有Python版本的呀,各位牛牛???

  • 海牛部落 Hadoop 系列教程(七):yarn 原理以及日常使用

    牛牛

  • 海牛部落 Hadoop 系列教程(六):HDFS 原理以及常用命令

    学习,牛牛

  • 海牛部落 Hadoop 系列教程(五):高可用(HA)HDFS 安装

    牛牛

  • 海牛部落 Hadoop 系列教程(四):编译 hadoop 源码

    牛牛

  • 海牛部落 Hadoop 系列教程(三):zookeeper

    牛牛

  • 海牛部落 Hadoop 系列教程(二):批量操作多台服务器

    牛牛

  • 海牛 Hadoop 系列教程(一):服务器基础环境

    牛牛

  • hadoop 分布式集群安装与原理

    学习

  • 海牛部落 java 系列教程:(17) 网络编程

    学习

  • «
  • 1
  • 2
  • »

为技术学习者提供一个动手实战、分享创造、结识伙伴、协同互助的平台。    

  京公网安备 11011402010672号        京ICP备17041118号-2