海汼部落
  • 首页
  • 课程
  • 实战
  • 云平台
  • 部落
  • 公告
  • 分享
  • 问答
    登 录 注册

歌唱祖国

第 1158 位会员

0 关注者
57 评论
26 话题

  • 公司
  • 城市
  • Ta 发布的话题
  • Ta 发表的回复
  • Ta 关注的用户
  • Ta 赞过的话题
  1. 个人中心
  2. Ta 发表的回复(57)
  • 海牛部落 hadoop 系列教程(二十六):Hbase 概述与安装、Hbase 原理和简单的 shell 操作

    学习

  • 如何配置 hue 的 Web ui 用 https 协议访问,还有 50070 等端口对应的 Web ui 的访问用 https 协议访问?

    @青牛 在cloudera manager上面找到hue-》配置,在里面添加SSL使用的证书,并启用SSL,就能通过https访问了,配置证书时需要注意的是,要把自己的主机名配置上去。

  • 如何配置 hue 的 Web ui 用 https 协议访问,还有 50070 等端口对应的 Web ui 的访问用 https 协议访问?

    @青牛会有的,但是会与ldap,AD,OAuth2等协议结合一起使用,做好用户登陆校验

  • 海牛部落 hive 系列教程(二十二):hive 的 select、union、SQL 依赖并发执行、mapsidejoin、fulljoin、GROUPINGSETS、ifcase

    学习

  • 海牛部落 oozie 系列教程(三十三):oozie 编译和安装

    学习

  • 任务调度工具 oozie

    学习

  • spark 基于内存的分布式计算框架

    6666

  • 海牛部落 Java 基础教程 (15) 多线程

    学习下,准备考试

  • cdh 集群 python3 用 pyhive 操作 hive,请问如何能够实现呢?

    @青牛 在hive-site中添加hive.server2.authentication=CUSTOM的配置,就可以成功操作hive了。
    感谢老师! ^_^

  • cdh 集群 python3 用 pyhive 操作 hive,请问如何能够实现呢?

    @青牛
    auth如果配置 auth='NOSASL'是不需要账号密码读取数据库吗?我如果用已经存在的hive账号该选图片下面哪个参数呢?

    file

  • Python3 操作 hive,pip 安装 sasl 失败,已经安装 gcc,请问如何能够完成第三方库的安装?

    @青牛 已经成功安装,pip安装sasl还是报相同的错误,由于我有安装Anaconda,已经通过conda install sasl完成安装,python3能够成功import 这个lib了
    感谢老师的回答 ^_^

  • hive 查询经过压缩后有 100GB 的.gz 格式的文件数据,使用 select * from 能够查询出来,为何不能做计算?

    @青牛

    走不动是这样的报错。请问我该如何去找原因?
    file

  • hive 查询经过压缩后有 100GB 的.gz 格式的文件数据,使用 select * from 能够查询出来,为何不能做计算?

    @青牛 原始数据太大,有1TB,3个副本就有3个TB了,我们整个集群的磁盘才14TB,目前有两个这样大的表,如果不压缩磁盘资源很快就会用完,我的想法是1.压缩数据(.gz)再load进hive表,2.再将这个数据load到分区表并保存成parquet格式,3.最后删除源数据,这样就能减少资源的占用了。

    目前的问题是:2的步骤走不通,有什么可能导致map不动呢?我在集群上看到每台datanode的磁盘占用都比较均匀,应该数据也是比较均匀的。

  • 海牛部落 spark 系列教程(三十八):spark 介绍、RDD 原理、spark 开发环境搭建

    不错,赞

  • sqoop 将 MySQL 表的数据导入到 hive 报错,怎么解决?

    @青牛 我大概知道是上面原因了,因为我的jdbc上面用的是localhost+端口,然而只有当前的机器做了端口映射,然而sqoop抽数底层的原理是去跑mapreduce,当把任务分配hadoop集群的其他node,在这些worker上面也是调用localhost,但是这些worker上面没有做端口映射所以他们没有能够连接到数据库,导致mapreduce失败,没有办法抽数。

  • «
  • 1
  • 2
  • 3
  • 4
  • »

为技术学习者提供一个动手实战、分享创造、结识伙伴、协同互助的平台。    

  京公网安备 11011402010672号        京ICP备17041118号-2