海汼部落
  • 首页
  • 课程
  • 实战
  • 云平台
  • 部落
  • 公告
  • 分享
  • 问答
    登 录 注册
创始人

青牛

第 12 位会员

449 关注者
2253 评论
308 话题

  • WeChat
  • Website
  • 公司
  • 城市
  • Ta 发布的话题
  • Ta 发表的回复
  • Ta 关注的用户
  • Ta 赞过的话题
  1. 个人中心
  2. Ta 发表的回复(2253)
  • Hadoop 默认 map 数是 2,块大小 128M,当文件 为 512M 是会有几个 map,有几个 map 并行?

    map的数目是由splitsize 决定的不是由块大小决定的 splitsize= Math.max(minSize, Math.min(goalSize, blockSize)),通常这个值=blockSize,输入的文件较小,文件字节数之和小于blocksize时,splitsize=输入文件字节数之和
    算出来splitsize以后再根据规则计算出map数 如果你指定的是splitsize=blocksize 那就是4个了

  • hadoop 环境搭建及开发的 jdk 版本问题?

    虚拟机中的环境和真实电脑上的环境是隔离的 所以环境之间互不影响

  • 关于 zookeeper 在 hadoop 运用中的一个疑问?

    不会的,你把zk和namenode的功能弄混了

  • Notepad++ 中如何对 hadoop 文件进行修改保存?

    文件名是中文的吗 尽量不要在window上面改 登上服务器在linux下修改

  • 利用 CDH5.16.1 添加 hue 时提示 hue server 启动不起来?请大神解决

    mysql> show tables 看一下表里面有没有desktop_userpreferences 如果没有的话说明hue没安装成功 重新装一下把

  • 信息被删除或无权限查看
  • 请问一下 mvn clean package 报错怎么解决?

    写的很清楚 没有pom文件

  • 请问一下 mvn clean package 报错怎么解决?

    执行命令的时候加上 -X参数看看具体信息

  • 请问如何提升 java GZIPOutputStream 压缩速度?

    缓冲区设置太大了吧 一般是new GZIPInputStream(new FileInputStream(path.toFile()), 65536) 这样就行 如果还不行 得看一下哪一行代码慢 定位一下问题

  • 信息被删除或无权限查看
  • vs code Python debug 代码能 debug 到源码吗,如何设置?

    没用过vscode 但是推荐你用pycharm 这个很好用 还是免费版

  • 为什么 Python 中无法输出 2.00?

    print "%.2f" % 2.00000

  • HDFS 全部文件的元数据是存储在 namenode 节点的硬盘还是内存?

    存储在namenode节点的硬盘和内存中

  • Spark updateStageByKey 产生的大量 checkpoint 小文件在 hdfs 上怎么处理?

    自己写个程序把checkpoint文件写成自动追加或是合并,或者写一个外部任务把小文件定时清理

  • 信息被删除或无权限查看
  • «
  • 1
  • 2
  • ...
  • 91
  • 92
  • 93
  • 94
  • 95
  • 96
  • 97
  • ...
  • 146
  • 147
  • »

为技术学习者提供一个动手实战、分享创造、结识伙伴、协同互助的平台。    

  京公网安备 11011402010672号        京ICP备17041118号-2