海汼部落
  • 首页
  • 课程
  • 实战
  • 云平台
  • 部落
  • 公告
  • 分享
  • 问答
    登 录 注册

ruiqi

第 1216 位会员

0 关注者
29 评论
6 话题

  • Ta 发布的话题
  • Ta 发表的回复
  • Ta 关注的用户
  • Ta 赞过的话题
  1. 个人中心
  2. Ta 发表的回复(29)
  • 海牛部落 Hbase 系列教程(三十一):Hbase 根据自定义方法预分 region

    学习下

  • spark 大量数据读写问题?

    @青牛 你好 我又来麻烦您了。还是昨天的问题哈。 我看了下。我们程序当时没有做region 预分区。总ip数 总量最多40亿个。若果想做region预分区,这种应该用形式的比较好呢?

  • spark 大量数据读写问题?

    @青牛 哦哦。这样子明天再看看。有问题再问您哈。多谢这么晚了还在回答问题。

  • spark 大量数据读写问题?

    @青牛 记得在ui页面看gc时间在1s左右。

  • spark 大量数据读写问题?

    @青牛 ip都转换成long型存储了。通过数据扫描看 倾斜不是很严重。不过 处理一段时间就容易造成hbase 崩溃。造成锁表了

  • 信息被删除或无权限查看
  • 信息被删除或无权限查看
  • spark 读取 hbase 40 亿数据。怎么读取性能更高?

    @青牛 大佬还有个问题呢,因为我们是从hbase 中查询出来40亿条数据 然后根据数据处理 进行业务,然后在重新入到这个库里面。 还是用的spark 的方式 这个是不是 必须依赖很多机器才能达到30分钟内处理完呢

  • 海牛部落 NOSQL 系列教程(三十):读取 hbase 的 hfile 文件并生成 hive 使用的 orc 文件

    学习 下

  • spark 读取 hbase 40 亿数据。怎么读取性能更高?

    @青牛 好的谢谢了

  • spark 读取 hbase 40 亿数据。怎么读取性能更高?

    @青牛 那请问一下 。 有没有这个相关的例子完整的呢

  • 海牛部落 java 系列教程(二十七):Hbase 的 Java 操作

    学学

  • 海牛部落 hbase 系列教程(二十八):hbase 的 filter 用法,hbase 数据的批量导入

    看看

  • 海牛部落 spark 系列教程(四十三):spark-hbase

    据说 回帖能看到隐藏内荣

  • «
  • 1
  • 2
  • »

为技术学习者提供一个动手实战、分享创造、结识伙伴、协同互助的平台。    

  京公网安备 11011402010672号        京ICP备17041118号-2