关于 “” 的搜索结果, 共 2411 条

96
96
96
96
96

spark 的问题? by 陌上花开 陌上花开

https://hainiubl.com/topics/365? 2018-01-24 ⋅ 3672 ⋅ 0 ⋅ 6
![file](http://hainiubl.com/uploads/images/201801/24/1180/19CQ9Qo59g.png) ![file](http://hainiubl.com/uploads/images/201801/24/1180/GKJ4bab3tI.png) ![file](http://hainiubl.com/uploads/images/201801/24/1180/p0qYiYa0j9.png) ![file](http://hainiubl.c...

sqoop-sqlserver 驱动如何安装？ by BigTester BigTester

https://hainiubl.com/topics/366? 2018-01-25 ⋅ 4975 ⋅ 0 ⋅ 1
Hadoop用Sqoop连接SqlServer显示驱动无法加载，我看官方文档去www.microsoft.com下载驱动但是只找到sqljdbc_6.0.8112.100_chs.tar.gz里边有sqljdbc41.jar和sqljdbc42.jar这两个是根据我安装的JDK版本来选择的吗？ 但是我看网上说还需要下载sqoop-sqlserver-1.0.tar.gz...

入行大数据你需要了解关于 Hadoop 与大数据的 12 个事实 by 海牛龙龙 海牛龙龙

https://hainiubl.com/topics/367? 2018-01-25 ⋅ 5841 ⋅ 1 ⋅ 0
**事实1：[Hadoop](http://hainiubl.com/topics/176)是由多个产品组成的。** 人们在谈论Hadoop的时候，常常把它当做单一产品来看待，但事实上它由多个不同的产品共同组成。 Russom说：“Hadoop是一系列开源产品的组合，这些产品都是Apache软件基金会的项目。”...

阿里女程序员被逼急了，竟然用大数据找老公 by 海牛龙龙 海牛龙龙

https://hainiubl.com/topics/368? 2018-01-25 ⋅ 7231 ⋅ 2 ⋅ 0
![file](http://hainiubl.com/uploads/images/201801/25/1124/pUmbVzxKU5.jpg) 征婚故事的开端，按照惯例，我还是得做自我介绍。我是一个供职于某上市企业的女程序猿。没错，就是一个你以为女生在这个岗位就是邋遢的一塌糊涂的岗位。你们一定以为我是这样的女程序猿......

spark groupByKey 的问题? by 陌上花开 陌上花开

https://hainiubl.com/topics/369? 2018-01-25 ⋅ 3718 ⋅ 0 ⋅ 1
![file](http://hainiubl.com/uploads/images/201801/25/1180/oi0wyAwa8K.png) 怎么拿取CompactBuffer里面的值,去进行计算 ![file](http://hainiubl.com/uploads/images/201801/25/1180/38yOgl0dHq.png) 的结果类型

hive on spark 资源效率问题？ by 小鱼a 小鱼a

https://hainiubl.com/topics/370? 2018-01-26 ⋅ 3638 ⋅ 0 ⋅ 1
服务状况，内存50G，VCores285，一个表有200万数据，另一张表180万数据，2张表进行join，hive on spark运行能运行成功嘛，大概要多长时间？

ambari 自动搭建集群报错怎么解？ by 2498164256 2498164256

https://hainiubl.com/topics/371? 2018-01-26 ⋅ 3822 ⋅ 0 ⋅ 1
Unable to run the custom hook script ['/usr/bin/python', '/var/lib/ambari-agent/cache/stacks/HDP/2.0.6/hooks/before-ANY/scripts/hook.py', 'ANY', '/var/lib/ambari-agent/data/command-128.json', '/var/lib/ambari-agent/cache/stacks/HDP/2.0.6/hooks/before...

Zookeeper 异常 ConnectionLossException 怎么办？ by Furing Furing

https://hainiubl.com/topics/372? 2018-01-26 ⋅ 6111 ⋅ 0 ⋅ 8
一、appps/zookeeper3.4.5/conf/zoo.cfg配置 ![file](http://hainiubl.com/uploads/images/201801/26/1210/CTdavQCrrQ.jpg) 二、防火墙状态 2.1、Windows防火墙状态 ![file](http://hainiubl.com/uploads/images/201801/26/1210/sL3cR6r5CF.jpg) 2.2、Linux防...

杭州-大数据相关岗位 by 牛牛 牛牛

https://hainiubl.com/topics/373? 2023-07-09 ⋅ 5635 ⋅ 0 ⋅ 0
有没有看数据挖掘，算法，分析，大数据运维 岗位的小伙伴呀~~坐标杭州~~ QQ:3163845964

教你如何用 Python 来实现一个大数据搜索引擎 by 海牛龙龙 海牛龙龙

https://hainiubl.com/topics/374? 2018-01-26 ⋅ 5237 ⋅ 1 ⋅ 0
搜索是大数据领域里常见的需求。Splunk和ELK分别是该领域在非开源和开源领域里的领导者。本文利用很少的Python代码实现了一个基本的数据搜索功能，试图让大家理解大数据搜索的基本原理。 ### 布隆过滤器 （Bloom Filter） 第一步我们先要实现一个布隆过滤器。...

程序员需要关注的十个大数据技术 by 海牛龙龙 海牛龙龙

https://hainiubl.com/topics/375? 2018-01-26 ⋅ 4701 ⋅ 1 ⋅ 0
大数据已然成为当今最热门的技术之一，正呈爆炸式增长。每天来自全球的新项目如雨后春笋般涌现。幸运地是，开源让越来越多的项目可以直接采用大数据技术，下面就来盘点最受欢迎的十大开源的大数据技术。 　　1. [Hadoop](http://hainiubl.com/topics/176) ——高效...

namenode 启动报错，哪位大神知道是怎么回事吗？ by 竹马吃了青梅 竹马吃了青梅

https://hainiubl.com/topics/376? 2018-01-27 ⋅ 3669 ⋅ 0 ⋅ 2
![file](http://hainiubl.com/uploads/images/201801/27/1125/DBMo3MYklZ.png)

请问有实战项目吗？视频讲解的那种 by ling775000 ling775000

https://hainiubl.com/topics/377? 2018-01-27 ⋅ 3942 ⋅ 1 ⋅ 5
如题

hadoop 的 Windows 环境部署后启动失败？ by 足迹 足迹

https://hainiubl.com/topics/378? 2018-01-28 ⋅ 4521 ⋅ 0 ⋅ 4
http://hainiubl.com/topics/88 参考青牛大哥这个帖子在windows环境下搭hadoop。start-dfs.cmd启动失败，如图： 我用的hadoop3.0.0，jdk1.8。 ![file](http://hainiubl.com/uploads/images/201801/28/197/eQqLwd4C2Q.png) ![file](http://hainiubl.com/uploads/imag...

spark 程序 yarn 运行报错? by 陌上花开 陌上花开

https://hainiubl.com/topics/379? 2018-01-29 ⋅ 4667 ⋅ 0 ⋅ 11
User class threw exception: java.lang.NoClassDefFoundError: org/apache/hadoop/hbase/HBaseConfiguration 什么问题?怎么解决?

nodemanager 无法访问,怎么办？ by 大中 大中

https://hainiubl.com/topics/380? 2018-01-29 ⋅ 4887 ⋅ 0 ⋅ 3
我已经将yarn-site.xml的hostname设置成master了 ![file](http://hainiubl.com/uploads/images/201801/29/1037/5QmhOSE2Mt.png) 可是nodemanager还是去连接0.0.0.0:8031，而且master:8033,master:8031都访问不了，但是master:8088能访问，是不是需要format yarn ![fi...

请问 hbase 的二级索引用 Elasticsearch 时是不是用 es 去映射 hbase 的列字段？ by ling775000 ling775000

https://hainiubl.com/topics/381? 2018-01-29 ⋅ 6892 ⋅ 0 ⋅ 7
如题，那如果真的是es去映射hbase列字段的话 那不是跟hive映射hbase一样了么

hive 查询一个 2 亿数据的表，非常慢，有什么办法设置查询？ by 歌唱祖国 歌唱祖国

https://hainiubl.com/topics/382? 2018-01-29 ⋅ 15371 ⋅ 0 ⋅ 3
hive查询一个2亿数据的表，非常慢，有什么办法设置查询？ 我在hive中设置了set mapred.reduce.tasks = 1000;但是感觉还是慢，可能比之前慢，但是我不知道改动之前设置的是多少，有什么命令看到之前设置的？我想还原设置。 还是当前用户设置了这个大小对别的用户没影响...

spark 读取 hbase 40 亿数据。怎么读取性能更高？ by ruiqi ruiqi

https://hainiubl.com/topics/383? 2018-01-29 ⋅ 9334 ⋅ 0 ⋅ 6
我们项目中 有个行是40亿 需要30分钟执行一次扫描 查询 根据条件。 但是使用scan 全盘扫描的时候 过一段时间hbase 就挂掉了。 在程序中没有设置startrow 和endrow . 如果想提高性能是是需要设置startRow 和endRow吗？

spark yarn 连接 MySQL 总是连接超时? by 陌上花开 陌上花开

https://hainiubl.com/topics/384? 2018-01-30 ⋅ 5582 ⋅ 0 ⋅ 7
![file](http://hainiubl.com/uploads/images/201801/30/1180/XN1rofhCNu.png) ![file](http://hainiubl.com/uploads/images/201801/30/1180/UPjk1ARxQs.png)

【上海博登信息科技有限公司】 by 牛牛 牛牛

https://hainiubl.com/topics/385? 2023-06-17 ⋅ 5487 ⋅ 0 ⋅ 0
【招聘】【上海博登信息科技有限公司】 大家好！我公司正在招聘以下10个职位： 【1】需求分析工程师（北京）：2年以上工作经验，具备通信行业经验优先 【2】大数据开发工程师（南昌）:2年以上工作经验 【3】Java开发工程师（上海）：3年以上工作经验，前端、后台都...

程序员 7 个最坏的习惯，你有几个？ by 海牛龙龙 海牛龙龙

https://hainiubl.com/topics/386? 2018-01-30 ⋅ 6050 ⋅ 1 ⋅ 0
![file](http://hainiubl.com/uploads/images/201801/30/1124/R6GM2Cdus3.jpg) **1.所有的代码都是垃圾，除了我的以外** 哥们儿，我有一个坏消息要告诉你，你的代码很垃圾。不管你花费了多少精力，总是有很多程序员认为你的代码是垃圾，他们可以比你做的10倍更好...

spark mlllib？ by maxy maxy

https://hainiubl.com/topics/387? 2018-01-30 ⋅ 4859 ⋅ 0 ⋅ 1
LogisticRegression lr = new LogisticRegression() .setMaxIter(10) .setRegParam(0.3) .setElasticNetParam(0.8); //弹性参数，用于调节L1和L2之间的比例，两种正则化比例加起来是1，详见后面正则化的设置，默认为0，只使用L2正则化，设置为1就是只用L1正则...

2017 程序员年终奖人均 11776 元排名第一，你发了多少？ by 海牛龙龙 海牛龙龙

https://hainiubl.com/topics/388? 2018-01-30 ⋅ 6189 ⋅ 1 ⋅ 0
临到过年，焦点话题除了抢票返乡，年终奖是另一件职场白领最关注的事情。 我们对职场白领年终奖情况进行了调查，发现今年白领年终奖发放程度和满意程度出现大幅度增长，远远高于过去两年，这也让白领对年终奖的重视程度前所未有地提高。 70%的白领有年终奖，你有...

北京-大数据相关岗位 by 牛牛 牛牛

https://hainiubl.com/topics/389? 2023-07-22 ⋅ 5634 ⋅ 0 ⋅ 0
岗位描述：（北京） 1、负责离线数据仓库架构设计、建模和ETL开发，构建可扩展的数据仓库和分析解决方案 2、负责实时计算平台搭建 2、负责对业务的数据接口开发 岗位要求： 1、熟悉至少一项分布式计算平台，例如Hadoop，Spark，Hive，HBase、Storm，Kafka 等； 2...

spark ml logisticRegression (逻辑回归) ？ by maxy maxy

https://hainiubl.com/topics/390? 2018-01-31 ⋅ 7850 ⋅ 0 ⋅ 1
在用 spark ml 的 Logistic Regression 的时候，遇到了下面的问题，日志显示 Step Size: NaN, 迭代的损失函数也是NaN。 具体的日志如下，截取了一部分： 18/01/31 11:13:10 INFO OWLQN: Step Size: NaN 18/01/31 11:13:10 INFO OWLQN: Val and Grad Norm: NaN (rel:...

no broker partitions consumed by consumer thread？ by ling775000 ling775000

https://hainiubl.com/topics/391? 2018-01-31 ⋅ 10481 ⋅ 0 ⋅ 3
kafka启动报这个错，啥原因呢

CDH 时钟偏差-主机的 NTP 服务未同步至任何远程服务器出现告警，同步时间后仍然不能排除，请教大牛？ by 歌唱祖国 歌唱祖国

https://hainiubl.com/topics/392? 2018-01-31 ⋅ 10699 ⋅ 0 ⋅ 2
![file](http://hainiubl.com/uploads/images/201801/31/1158/QASCOOj1pG.png) 我已经在集群中用ntpdate -u xxx.xxx.xxx.xxx了可是时间是相同的，发现原本时间是同步的。时间差别根本就不大。另外上该主机配置图 ![file](http://hainiubl.com/uploads/images/201801/3...

北京招聘-java 开发工程师 by 牛牛 牛牛

https://hainiubl.com/topics/393? 2023-06-19 ⋅ 5691 ⋅ 0 ⋅ 1
招聘一（北京昌平职位，学历二本以上） 1、Java开发，2年以上工作经验， 熟练ssm,spring boot,mongoDB等技术和主流框架，薪资8-13k 2、需求岗位，2年以上工作...

java 使用 ChromeDriver 做爬虫时，代理 ip 怎么设置，jvm 里面设置不生效? by 韦晓阳 韦晓阳

https://hainiubl.com/topics/394? 2018-01-31 ⋅ 4679 ⋅ 1 ⋅ 3
java使用ChromeDriver做爬虫时，代理ip怎么设置，jvm里面设置不生效 System.getProperties().setProperty("proxySet", "true"); System.getProperties().setProperty("http.proxyHost", "xx"); System.getProperties().setProperty("http.proxyPort", "x...