海汼部落
  • 首页
  • 课程
  • 实战
  • 云平台
  • 部落
  • 公告
  • 分享
  • 问答
    登 录 注册
创始人

青牛

第 12 位会员

451 关注者
2256 评论
308 话题

  • WeChat
  • Website
  • 公司
  • 城市
  • Ta 发布的话题
  • Ta 发表的回复
  • Ta 关注的用户
  • Ta 赞过的话题
  1. 个人中心
  2. Ta 发表的回复(2256)
  • 本地 Java 程序提交任务到 spark 集群无法执行,也没有报错,这是为什么?

    @tonly 你这个问题挺有意思的,所以我也愿意和你讨论。你那个看不全网页IDEA中会报jetty的错误,主要是找不到文件什么的。这个有可能是你IDEA在windows上的权限不够。所以和你这个本地的问题没有关系。主要的问题就是你的虚拟机能不能通过nat网络访问你的宿主机的ip和指定的端口。你配置的那个.1应该是NAT网络的网关吧,不知道这样配置可不可以,一般都是主机访问虚拟网络里面的机器。虚拟网络里面的机器访问不了主机的。

  • 请问如何去理解 MPP 架构呢?

    是基于传统数据库对于数据并行处理的升级吧,也就是海量的数据由每个数据库处理一部分,然后再汇总出结果。

  • 信息被删除或无权限查看
  • 本地 Java 程序提交任务到 spark 集群无法执行,也没有报错,这是为什么?

    @tonly 你的虚拟机是用的桥接吗?要是使用的NAT网络是ping不通本地的。你试一下在你的程序中配置这个参数“spark.driver.host”

  • 实时性高又涉及到复杂查询的用什么数据库?

    presto可以试试,facebook公司出的

  • 本地 Java 程序提交任务到 spark 集群无法执行,也没有报错,这是为什么?

    @tonly 能让你的虚拟机连接到ZhOu:49452这个地址就可以了,你可以给虚拟机配置一下host,让你的executor和你的driver能连接上就行了。或者你试试能不能覆盖--driver-url这个参数

  • 本地 Java 程序提交任务到 spark 集群无法执行,也没有报错,这是为什么?

    @tonly 我觉得是这里的问题,executor找不到你的driver吧,因为他不知道这个地址是啥

    file

  • 本地 Java 程序提交任务到 spark 集群无法执行,也没有报错,这是为什么?

    @tonly 你把虚拟机调到2G内存试试吧,因为你的日志里显示你的executor的JVM需要XMX1024M,所以你的虚拟机最少要1G以上的内存。Spark集群内存调小是不行的,因为内存太小了,是启不来的。

  • 本地 Java 程序提交任务到 spark 集群无法执行,也没有报错,这是为什么?

    @tonly 你虚拟机多大内存啊?

  • 本地 Java 程序提交任务到 spark 集群无法执行,也没有报错,这是为什么?

    @tonly 你提交任务时查看一下集群上master日志看看有没有什么问题。

  • 在电商项目中如何运用大数据技术?

    不是摒弃以前的方案,两者要结合使用

  • 在电商项目中如何运用大数据技术?

    借助大数据平台来运算用户行为数据等海量日志数据。运算结果存到传统库中。大数据平台不能像以前做web开发那样直接连接,因为用户接受不了这样的响应速度。

  • 本地 Java 程序提交任务到 spark 集群无法执行,也没有报错,这是为什么?

    好像是你的任务找不到你的节点位置,应该是你的本地spark配置缺少这样的信息

  • 有 R 开发 storm 和 spark 的案例或者资料吗?

    为啥不用spark mllib那?

  • HBase 数据为何在一台机器上?

    你这台机器比别的机器的region少呗,hbase会让所有regionserver的region总量上平衡,但不是非得每个表都平均分配到每个region上。

  • «
  • 1
  • 2
  • ...
  • 110
  • 111
  • 112
  • 113
  • 114
  • 115
  • 116
  • ...
  • 146
  • 147
  • »

为技术学习者提供一个动手实战、分享创造、结识伙伴、协同互助的平台。    

  京公网安备 11011402010672号        京ICP备17041118号-2