关于 “” 的搜索结果, 共 2411 条

96
96
96
96
96

后台程序是直接访问 HDFS 中数据吗？ by BigTester BigTester

https://hainiubl.com/topics/335? 2018-01-18 ⋅ 3756 ⋅ 0 ⋅ 3
在项目开发中后台程序是直接访问HDFS中数据还是将HDFS数据同步到数据库中，访问数据库实现功能？ 实际工作中hadoop开发的实现流程是怎样的？

请教一下，Spark Streaming 怎么实时读取 Redis 的数据? by 海牛龙龙 海牛龙龙

https://hainiubl.com/topics/336? 2018-01-19 ⋅ 6567 ⋅ 0 ⋅ 1
数据存在Redis里面的，现在想用SparkStreaming实时去处理这个数据。问题 1：用SparkStreaming实时读取Redis的数据可不可以，难度大不大。 2：如果方法一不行，还有没有其他的方法。 最好提供点资料，谢谢！

hadoop 环境搭建完成后接下来该做什么？ by BigTester BigTester

https://hainiubl.com/topics/337? 2018-01-19 ⋅ 4146 ⋅ 0 ⋅ 1
在实际生产过程中，部署完hadoop环境如何进行下一步开发工作？假如开发一个大数据分析平台功能接下来需要准备做哪些工作？

java 问题解决 by yanyangyu yanyangyu

https://hainiubl.com/topics/338? 2018-01-19 ⋅ 4951 ⋅ 0 ⋅ 1
An unrecoverable stack overflow has occurred. # # A fatal error has been detected by the Java Runtime Environment: # # EXCEPTION_STACK_OVERFLOW (0xc00000fd) at pc=0x6f9964d7, pid=8600, tid=3360 # # JRE version: Java(TM) SE Runtime Environment...

webservice 取值问题 by maxy maxy

https://hainiubl.com/topics/339? 2018-01-19 ⋅ 3843 ⋅ 0 ⋅ 3
webservice 服务端获取客户端的请求参数， ServletInputStream si = request.getInputStream(); 这个方法取到输入流 在读取的时候出错了， si.read(). 直接报错，（steam closed），这个流只能读取一次,怎么把这个流的内容提取出来， 尝试用ByteArrayInputStream...

spark 读取数据 split 问题? by 陌上花开 陌上花开

https://hainiubl.com/topics/340? 2018-01-19 ⋅ 3816 ⋅ 0 ⋅ 1
![file](http://hainiubl.com/uploads/images/201801/19/1180/Uaj8jKxMd1.png) 怎么获取aa的每一个值?或者是切分之后拼接不对?

大数据干货 | 论 Spark 高手是怎样炼成的 by 小鱼 小鱼

https://hainiubl.com/topics/341? 2018-01-19 ⋅ 3736 ⋅ 1 ⋅ 0
大数据的处理怎么能变快一点，答案是请用spark，因为它是基于内存的，可以有效减少数据的落地次数。Spark性能超过Hadoop百倍，从多迭代批量处理出发，兼收并蓄数据仓库、流处理和图计算等多种计算范式，是罕见的全能选手。 Spark采用一个统一的技术堆栈解决了云计算...

和程序员谈恋爱是一种什么样的体验？ by 小鱼 小鱼

https://hainiubl.com/topics/342? 2018-01-19 ⋅ 5519 ⋅ 1 ⋅ 0
作为一名程序员的女朋友，我想说说，和程序员谈恋爱究竟是一种什么样的体验。首先，我们先来说说程序员的定义。程序员、计算机程序员、开发者、软件工程师、码农，这些名字值的都是一类人：写计算机软件的人。你会觉得自己是个小三，而他的“正室”，是他的计算机。在和程...

人工智能和大数据的关系及中国在 AI 领域如何赶超世界 by 海牛龙龙 海牛龙龙

https://hainiubl.com/topics/343? 2018-01-19 ⋅ 4329 ⋅ 0 ⋅ 0
语音也在里面学，文字也在里面学，图像也在里面学，会不会互相干扰呢，其实不仅不会互相干扰，在一定程度上还略微有帮助。北美已在引领这些发展，如果中国只低头用深度学习去解决应用问题，不去研究一个目的背后需要解决的问题，要做到“引领”则是不可能的。 为什么机...

webservice 服务端获取客户端 请求 xml 的方法 by maxy maxy

https://hainiubl.com/topics/344? 2018-01-20 ⋅ 3698 ⋅ 0 ⋅ 0
webservice 服务端怎么获取客户端 请求的 报文实体内容。 HttpServletRequest.getInputStream() 这个方法是读不出数据的，这个流不让读，说有好的方法

数据清洗之后还需要统计啥的吗？ by ling775000 ling775000

https://hainiubl.com/topics/345? 2018-01-21 ⋅ 3362 ⋅ 0 ⋅ 4
我理解的是数据清洗出来为啥要统计呢？ 可以说下业务场景吗

hadoop 在执行 wordcount 时，job 卡住不继续执行？ by 足迹 足迹

https://hainiubl.com/topics/346? 2018-01-21 ⋅ 10328 ⋅ 1 ⋅ 7
如图，我在执行wordcount时遇到了一个问题，一直卡在 “INFO mapreduce.Job: Running job: job_1516538252234_0001” 而不能继续，而且日志中没有报错的信息。青牛大哥帮忙分析下可能的原因，谢谢啦 ![file](http://hainiubl.com/uploads/images/201801/21/197/AM6QO1Q...

HBASE 如何查看一个表有没有做了预分区？ by ling775000 ling775000

https://hainiubl.com/topics/347? 2018-01-21 ⋅ 8568 ⋅ 0 ⋅ 1
现在有HBASE表，但表不是我创建的，我想知道他创建的时候有没有做预分区，怎么知道呢？ 还有个问题，如何查看我HBASE里面有多少个rowkey呢？

HBASE 新增节点上去的话，原先创建的预分区会有啥变化？ by ling775000 ling775000

https://hainiubl.com/topics/348? 2018-01-21 ⋅ 4359 ⋅ 0 ⋅ 1
这个预分区跟着节点的新增而有什么改变？

不懂这 25 个术语，千万不要说自己是干大数据的！ by 海牛龙龙 海牛龙龙

https://hainiubl.com/topics/349? 2018-01-22 ⋅ 6242 ⋅ 0 ⋅ 0
大数据听起来总是很神秘、很高大上的感觉，让很多人望而却步。如果你掌握了基本理论，对大数据技术的专业术语有所了解的话，相信你会开始慢慢的爱上大数据。让我们一起来了解大数据的25个术语。 **01算法** “算法”如何与大数据相关?即使算法是一个通用术语，但大数...

sqoop 连接数据库密码方式？ by BigTester BigTester

https://hainiubl.com/topics/350? 2018-01-22 ⋅ 3975 ⋅ 0 ⋅ 1
sqoop连接数据库时使用哪种方式提供密码比较好？

CDH 意外中断导致 hue 调用 hive 查表时无法查询表，提示表不存在，如何修复该问题？大神请帮帮忙 by 歌唱祖国 歌唱祖国

https://hainiubl.com/topics/351? 2018-01-22 ⋅ 5366 ⋅ 0 ⋅ 8
![file](http://hainiubl.com/uploads/images/201801/22/1158/4Jy1Qn2KP9.png)

大数据监控工具有哪些呢？ by ling775000 ling775000

https://hainiubl.com/topics/352? 2018-01-22 ⋅ 4010 ⋅ 0 ⋅ 5
cdh5算吗？

eclipse 运行 hadoop 程序报错 Unable to load native-hadoop library for your platform... using builtin-java classes where applicable 什么原因？ by cyf123123 cyf123123

https://hainiubl.com/topics/353? 2018-01-22 ⋅ 6397 ⋅ 0 ⋅ 2
![file](http://hainiubl.com/uploads/images/201801/22/1215/9UC6O1cebQ.png)2018-01-22 22:57:18,304 WARN util.NativeCodeLoader (NativeCodeLoader.java:<clinit>(62)) - Unable to load native-hadoop library for your platform... using builtin-java classes w...

spark 整合 dubbo，怎样吧请求分发到不同的 executor 执行？ by 海牛龙龙 海牛龙龙

https://hainiubl.com/topics/354? 2018-01-23 ⋅ 4416 ⋅ 0 ⋅ 1
我最近在做把dubbo整合到spark里面，想用[spark的分布式处理](http://hainiubl.com/topics/202)dubbo的高并发。里面不涉及到spark的其他操作，只是用spark的分布式，因为没有task执行，怎样吧请求分发到不同的executor执行？

sqoop 如何抽取文件？ by BigTester BigTester

https://hainiubl.com/topics/355? 2018-01-23 ⋅ 5124 ⋅ 0 ⋅ 1
sqoop抽取过来的数据是放到NameNode还是DataNode上呢？ 抽取过来的数据有Java文件，编译文件和jar包。上传哪个到hdfs上呢？ sqoop抽取mysql数据库中表指定到hive中，可以在hive数据库看见这张表吗？ 上传文件到hdfs上一般是收到上传还是编写shell脚本批量上传呢？...

北京海淀北坞--大数据架构师\研发工程师 by 牛牛 牛牛

https://hainiubl.com/topics/356? 2023-07-04 ⋅ 4775 ⋅ 0 ⋅ 1
坐标：海淀北坞 薪酬：15K-30K 有安全行业大数据经验者薪酬可议 简历请投：hr@hoohoolab.com 大数据架构师\研发工程师...

北京-java 测试 运维 大数据 各岗位都有招聘 by 牛牛 牛牛

https://hainiubl.com/topics/357? 2023-08-27 ⋅ 4949 ⋅ 0 ⋅ 0
招聘java开发： 一、前央视著名主持人创办公司，讲故事类自媒体平台，招聘java高级工程师，工作地点北京朝阳区望京东保利国际广场，要求： 1、统招全日制本科学历（计算机相关专业） 2、java开发经验4年 3、有电商开发经验、熟悉多线程、高并发经验优先。 4、薪资2...

长期外派-测试 ETL by 牛牛 牛牛

https://hainiubl.com/topics/358? 2023-07-30 ⋅ 5157 ⋅ 0 ⋅ 0
招聘（长期外派） 北京【测试】：3年以上经验，有敏捷测试经验； 上海【APP测试】:6年以上经验，熟练使用各种测试工具，优先Loadrunner； 呼和浩特【ETL】:4年以上开发经验，有hive和sqoop等大数据平台开发经验； 呼和浩特【Tableau】：3年以上Tableau BI开发经验，...

北京朝阳望京，知名互联网公司招聘--java、大数据工程师 / 架构师 / 技术经理等职位均有招聘 by zy18129 zy18129

https://hainiubl.com/topics/359? 2023-06-27 ⋅ 5274 ⋅ 0 ⋅ 0
前央视著名主持人创办公司，讲故事类自媒体平台，当前公司估值16亿左右，两年内上市，招聘java高级工程师/架构师/技术经理，大数据工程师/架构师/技术经理等职位均有招聘，工作地点北京朝阳区望京东保利国际广场。 java职位相关要求： 1、统招全日制本科学历（计算机...

CDH 5.13.0 关闭 kerbos？ by 竹马吃了青梅 竹马吃了青梅

https://hainiubl.com/topics/360? 2018-01-23 ⋅ 3832 ⋅ 0 ⋅ 0
打扰下，想问下大家CDH中如何关闭已开启的kerbos功能？

spark dataframe 转 dataset？ by maxy maxy

https://hainiubl.com/topics/361? 2018-01-23 ⋅ 3303 ⋅ 0 ⋅ 1
下面是我的做法： DataFrame df = sqlcontext.createDataFrame(row, schema); //Row的类型 我想这么做： Dataset<Row> ds = df.as(evidence$1); // 这个序列化怎么弄都不对，请指点一下，多谢了！！

DataNode 启动失败？ by 足迹 足迹

https://hainiubl.com/topics/362? 2018-01-23 ⋅ 3922 ⋅ 0 ⋅ 2
启动集群时datanode失败，报了如下异常： ![file](http://hainiubl.com/uploads/images/201801/23/197/hsC5uQovTv.png)

Linux 中 eclipse 的安装？ by nothing nothing

https://hainiubl.com/topics/363? 2018-01-24 ⋅ 3726 ⋅ 0 ⋅ 1
牛哥，你好 请问在centos7使用的是hadoop 2.6.5版本安装eclipse的话，使用哪个版本呀？请问有eclipse的安装包或者下载路径提供一下吗？谢谢

在 hive 中有没比较高效的方式来查看我们现有库下所有表的记录总数？ by 小鱼a 小鱼a

https://hainiubl.com/topics/364? 2018-01-24 ⋅ 6713 ⋅ 0 ⋅ 4
比如查看一个数据库所有表的记录行数，有没类似元数据一样的存在直接查