关于 “” 的搜索结果, 共 2411 条
在 idea 中运行 hive 聚合函数运行异常，不知道是什么问题？
by
爱拼才会赢
https://hainiubl.com/topics/75285?
2020-08-15
⋅
2524
⋅
0
⋅
2
我在idea 中配置了hive 的运行环境，正常的select 查询是可以的，且UDF函数也可以正常运行。
当我运行UDFA函数的时候报错，我就运行 select count(1) from student; 报错，具体错误如下：`java.io.IOException: Cannot initialize Cluster. Please check your configur...
每次登陆 idea 都需要重新导入 scala.sdk?
by
DamonBand
https://hainiubl.com/topics/75286?
2020-08-16
⋅
2849
⋅
0
⋅
4
每次重新打开idea 或者重启电脑后 都需要重新导入 否则创建不了scala class
学校集群账户没有写和执行权限？请老师帮忙授权？
by
爱拼才会赢
https://hainiubl.com/topics/75287?
2020-08-19
⋅
2539
⋅
0
⋅
4
在执行orcFile转Hfile时报错如下：
然后我就按照提示修改了执行了：修改了家目录的权限的命令。
然后就没有权限了，不能够进入家目录。如下：
诺
https://hainiubl.com/topics/75295?
2020-08-21
⋅
5222
⋅
0
⋅
5
journalctl -xb 查看系统日志
MR 中 Job 提交过程源码分析总结
by
AIZero
https://hainiubl.com/topics/75296?
2020-08-23
⋅
4295
⋅
4
⋅
2
源码分析被老师吐槽后，认真做了一遍，结合网上资源慢慢整理理出来，用到线程的地方看得有点迷，其中第二层核心面板submitJobInternal()方法中生成密钥那部分不知道在干啥，还有提交后Yarn如何进入到MapTask中的方法这段中间的细节比较模糊，希望有大佬指点。
<div sty...
MR 中 Map 端源码分析
by
AIZero
https://hainiubl.com/topics/75297?
2020-08-25
⋅
3115
⋅
4
⋅
1
花了挺久才看懂环形缓冲区的原理，把自己觉得重要的地方都注解在了代码里，如果有理解错误的地方，希望能帮我指正。
<div style="text-align:center"><b>Map阶段的三大核心</b></div>
T1. LineRecord读取数据分片
T2. MapOutPutBuffer的创建于数据输入
T3. 数据的溢...
IDEA 生成的变量名会与已有的变量名联动?
by
隆神的小迷弟
https://hainiubl.com/topics/75298?
2020-08-25
⋅
2581
⋅
0
⋅
2
**.var生成的变量名会与之前的变量名重名**
**修改新生成的变量名,上面被重名的变量名也会对应发生改变**
wwwzhangnanwc
https://hainiubl.com/topics/75299?
2020-08-26
⋅
2306
⋅
0
⋅
6
之前用的好好的，今天打开本地虚拟机突然打不开集群了。按照提示进行到这一步，找不到指定文件？请问老师们这种情况应该怎么处理啊？
Mac 本在 PD 中的 Linux 虚拟机配置完静态 IP 后 上不了网 ？
by
xhzh
https://hainiubl.com/topics/75301?
2020-08-27
⋅
2705
⋅
0
⋅
8
Klaus
数据仓库阶段：UDF 函数与字典表该如何抉择？
by
AIZero
https://hainiubl.com/topics/75305?
2020-08-30
⋅
2956
⋅
0
⋅
3
1. ODS层数据到DWD层数据经过与字典表的innerjoin的关联，就比如最简单的国家英文名转到国家中文名，可以用字典关联后替换掉，也可以用UDF中生成的jar包来进行变化。字典表如果大的时候连接通过MapReduce似乎效率并不高，字典表小的时候通过semijoin的方式好像效率也很...
pycharm 导入 MYSQLdb 模块的问题？
by
wwwzhangnanwc
https://hainiubl.com/topics/75306?
2020-08-31
⋅
2434
⋅
0
⋅
2
在cmd导入都没有问题？为何在pycharm无法导入MySQLdb
烦请老师给点指点
再导入mx.URL的时候出现这个问题，是pip版本不对的问题吗？
请问一下，安装 setuptools 时候我有一台虚拟机报错如下 其他可以 是为什么呢？
by
LUNLI
https://hainiubl.com/topics/75309?
2020-09-02
⋅
3170
⋅
0
⋅
8
如题 安装setuptools时只有一台虚拟机报错如下
ImportError: /usr/local/lib/python2.7/lib-dynload/_ctypes.so: invalid ELF header
其他没事 请问这是为什么呢？
虚拟机安装 MySQL 启动不了？
by
边城
https://hainiubl.com/topics/75310?
2020-09-03
⋅
2655
⋅
0
⋅
2
zkfc 是怎么控制 namenode 节点 active 和 standby 状态的切换？
by
大白话西游
https://hainiubl.com/topics/75311?
2020-09-03
⋅
3269
⋅
0
⋅
2
比如现在nn1节点是active状态，nn2节点是standby状态，如果此时nn1挂掉，nn2是怎么通过zkfc，然后变成active状态的？是nn2的zkfc获取到了nn1节点中状态变成了standby，然后nn2状态切换到active，万一nn1直接挂掉，断电了nn2会收到消息变成active状态吗，还是两个都会sta...
ETL 中优化的一些问题？
by
AIZero
https://hainiubl.com/topics/75312?
2020-09-04
⋅
2750
⋅
0
⋅
2
1. 如果要跑海牛日志一年的数据，自己统计时先将一年的数据拉到本地，通过find命令把log文件放到一个文件夹，然后再把hdfs上传到hdfs上，然后再跑MapReduce。虽然hdfs中没法使用find函数的样子，但这个过程能否全程在hdfs上实现，有什么优化的方法。
2. 如果我每天的定...
请问已经按照老师的配置布置了 python,缺无法引入包是啥情况？
by
wwwzhangnanwc
https://hainiubl.com/topics/75315?
2020-09-07
⋅
6626
⋅
0
⋅
38
zookeeper 集群中的一个结点无法成为 Follower ，显示 standlone 该如何修改成 Follower？
by
小小书生
https://hainiubl.com/topics/75316?
2020-09-08
⋅
2523
⋅
0
⋅
2
网上搜索说是zoo.cfg文件的名称是zoo_sample.cfg的问题但是修改名字以后并且重新开机启动zookeeper以后还是不行；zoo.cfg内的配置信息，为上传老师的配置文件；
问题图片显示处：
zoo.cfg...
运行 WordCount 时报错？
by
hx999
https://hainiubl.com/topics/75317?
2020-09-08
⋅
2309
⋅
0
⋅
3
20/09/08 15:33:51 ERROR org.apache.hadoop.util.Shell getWinUtilsPath(): Failed to locate the winutils binary in the hadoop binary path
java.io.IOException: **Could not locate executable null\bin\winutils.exe in the Hadoop binaries.**
Exception in...
聊聊做大数据开发的日子
by
枫艾
https://hainiubl.com/topics/75318?
2020-09-09
⋅
7182
⋅
15
⋅
4
最近有不少童鞋问到我一些生活的问题, 例如:
1. 做大数据的日子都干些什么?
2. 刚进入公司应该怎么度过?
3. xxxx重要嘛? 平常怎么学习?
很感谢大家愿意听我唠叨哈~
今天有空跟大家分享一下做大数据的日子吧~
首先, 先闲聊一些; 做大数据开心嘛? 还是比较开心的!...
想问下 int i = 0,int j = ++i + i++ +++i +++i + i++ ，，怎么得到结果是 18 呢，我一直算的是 13？
by
Josiah
https://hainiubl.com/topics/75319?
2020-09-11
⋅
2656
⋅
1
⋅
2
int i = 0,int j = ++i + i++ +++i +++i + i++
eclipse 时不时总是弹出错误信息 如何解决？
by
边城
https://hainiubl.com/topics/75320?
2020-09-12
⋅
2103
⋅
0
⋅
1
Java SE 阶段学习分享
by
CM
https://hainiubl.com/topics/75321?
2020-09-12
⋅
4070
⋅
5
⋅
1
**引言：**
笔者是海牛学院27期学员，关于编程之前只接触过一点C，可以算得上零基础。如今学完Java SE已经一周，闲暇之余，特来分享一下我的学习感受。
**正文：**
1.数据模块
编程语言离不开对数据的操作，Java SE把数据分为基本数据类型和引用数据类型。基本...
kafka 项目相关？
by
wwwzhangnanwc
https://hainiubl.com/topics/75322?
2020-09-17
⋅
2587
⋅
0
⋅
4
将文件写入kafka，一直没有返回值，请问是哪里的问题？debug已经跑过，也能正常获取到host和topic
执行 MapReduce Exception from container-launch. 怎么处理？
by
专业团队
https://hainiubl.com/topics/75323?
2020-09-18
⋅
2936
⋅
1
⋅
1
eclipse 的相关问题 （救命）？
by
MapReduce
https://hainiubl.com/topics/75324?
2020-09-19
⋅
2317
⋅
1
⋅
2
eclipse每次 打开 项目都会消失， 已经第二次了 ，昨天 的第一次，工作空间内的项目只丢失了最近写的，copy导入了一下换了一个工作空间，今天第二次了，新换的工作空间内部项目全部消失了 ，一点也没留下，希望遇到过这类问题的小伙伴可以帮帮我，快崩溃了，写了一天的...
eclipse 实现 hbase 的 filter 用法，用的学校集群，出现下列情况？
by
hx999
https://hainiubl.com/topics/75325?
2020-09-26
⋅
2371
⋅
0
⋅
1
20/09/26 00:03:33 INFO org.apache.zookeeper.ZooKeeper <init>(): Initiating client connection, connectString=nn1.hadoop:2181,nn2.hadoop:2181,s1.hadoop:2181 sessionTimeout=12000000 watcher=org.apache.hadoop.hbase.zookeeper.PendingWatcher@5f058f00
20/0...
eclipse 中读取 orc 生成 hfile 文件本地执行出错？
by
大白话西游
https://hainiubl.com/topics/75326?
2020-09-26
⋅
2516
⋅
0
⋅
2
这个是运行时的配置参数
orc2hfile -Dtask.id=0924_hangyu -Dtask.input.dir=/Users/hangyumac/hainiu/hbase/input -Dtask.base.dir=/Users/hangyumac/hainiu/hbase/ -Dhbase.zookeep...