关于 “” 的搜索结果, 共 2411 条






海牛部落 hbase 系列教程(二十八):hbase 的 filter 用法,hbase 数据的批量导入 by 青牛 青牛

https://hainiubl.com/topics/124? 2017-06-13 ⋅ 22536 ⋅ 3 ⋅ 65
###1. hbase的filter用法 条件枚举 ![file](http://hainiubl.com/uploads/images/201706/13/426/0eS96RjWrU.png) 插入测试数据 ![file](http://hainiubl.com/uploads/images/201706/13/426/gnykannEi3.png) ##以下内容回帖刷新可见

海牛部落 hbase 系列教程(二十九):整合 hbase 的批量导入功能,hbase 的数据导出并生成 ORC 文件导入到 hive 中 by 青牛 青牛

https://hainiubl.com/topics/125? 2017-06-14 ⋅ 18355 ⋅ 10 ⋅ 51
1.整合hfile的导入功能到代码中 使用java代码代替命令行实现hbase的批量导入功能 (1).hbase导入hfile功能的源码 ![file](http://hainiubl.com/uploads/images/201706/14/426/oscgr8wtx7.png) (2).根据源码把相应功能加到自己的代码中,让你的任务运行完成之后就导入...

海牛部落 NOSQL 系列教程(三十):读取 hbase 的 hfile 文件并生成 hive 使用的 orc 文件 by 青牛 青牛

https://hainiubl.com/topics/126? 2017-06-19 ⋅ 19223 ⋅ 20 ⋅ 57
###1. 自定义inputformat实现 (1).首先继承FileInputFormat ![file](http://hainiubl.com/uploads/images/201706/19/426/Odbc6QUd7L.png) (2).然后再实现自己的RecordReader,继承org.apache.hadoop.mapreduce.RecordReader ![file](http://hainiubl.com/uploads/ima...

海牛部落 Hbase 系列教程(三十一):Hbase 根据自定义方法预分 region by 青牛 青牛

https://hainiubl.com/topics/128? 2017-06-22 ⋅ 16226 ⋅ 4 ⋅ 38
###1. hbase的预分region hbase创建的表,默认情况下region split的方法是根据数据的增长量按字典排序对rowkey进行区间划分的,如果你的rowkey的分布在某个字典区间内有大量的数据,就会造成数据分布的不均衡形成单region热点。所以要根据你的rowkey分布情况进行数据区...

致大数据爱好者的一封信 by 青牛 青牛

https://hainiubl.com/topics/129? 2017-06-22 ⋅ 5367 ⋅ 71 ⋅ 0
各位同学: 目前您对互联网行业就业形势有所了解吗?您还仅局限于了解javaweb,或是前端开发,php,ui设计吗?我想和您说一个技术领域,想必您也不陌生―――大数据,国际数据公司IDC预测,到2020年,企业基于大数据计算分析平台的支出将突破5000亿美元。目前,我国大...

那些牛人的结构化思维是如何炼成的? by 青牛 青牛

https://hainiubl.com/topics/130? 2017-06-23 ⋅ 5814 ⋅ 89 ⋅ 1
本文为转载文章,如果有什么不妥请联系我们删除。 作者:孙圈圈 来自:公众号圈外(iquanwai) ###01 结构化思维比你想象得重要一万倍 下图有15个数字,我需要你在3秒钟内看完并记住它们,试试? ![file](http://hainiubl.com/uploads/images/201706/23/426/...

为什么大数据应用需要敏捷?敏捷大数据方法论 by 青牛 青牛

https://hainiubl.com/topics/131? 2017-06-23 ⋅ 5969 ⋅ 211 ⋅ 0
前段时间有报道称,有学者质疑“大数据”理论,也有硅谷公司负责人质疑大数据应用的效果。结合2011年Gartner关于BI(Business Intelligence)应用70%-80%都失败的一个调查结论(这里的fail是夸张的说法,更确切地讲应该是没有达到预期效果),本文就来谈谈为什么会出现这...

海牛部落 NOSQL 数据库 系列教程(三十二):mapreducer 对 avor 文件的读写 by 青牛 青牛

https://hainiubl.com/topics/132? 2017-06-26 ⋅ 13013 ⋅ 34 ⋅ 36
###1. 生成测试数据 从原来ORC表中导出1000条数据生成avro表用于测试 create table user_install_status_avro stored as avro as select * from user_install_status where dt='20141228' limit 1000; 从生成的AVRO文件中拿出hive AVRO格式表的schema,并修改成输...

海牛部落 oozie 系列教程(三十三):oozie 编译和安装 by 青牛 青牛

https://hainiubl.com/topics/133? 2017-07-03 ⋅ 20814 ⋅ 9 ⋅ 70
###1. OOZIE编译 需要的软件 ![file](http://hainiubl.com/uploads/images/201707/03/426/IlWn2adb9z.png) 修改的配置 ![file](http://hainiubl.com/uploads/images/201707/03/426/gj2SC5EVbX.png) ##以下内容回帖刷新可见

13 个大数据应用案例,告诉你最真实的大数据故事 by 青牛 青牛

https://hainiubl.com/topics/135? 2017-07-04 ⋅ 5009 ⋅ 140 ⋅ 0
大数据真的太神奇了,真的可以让改变一个企业的运营吗?答案是肯定的。大数据目前是当下最火热的词了,你要是不知道大数据这个概念,都不好意思在众人面前开口了。然而实际上很多人都对大数据的应用模糊不清。现在就让我们从下面十三个大数据应用案例来了解下最真实的...

java 代码修改 reduce 个数 by 闭关修炼中 闭关修炼中

https://hainiubl.com/topics/136? 2017-07-05 ⋅ 5473 ⋅ 2 ⋅ 4
![file](http://hainiubl.com/uploads/images/201707/05/480/Qtdn5rFGyv.png) 通过java代码修改reduce个数,如上图所示,通过 **System.out.println(job.getNumReduceTasks());** 显示出来的也是 2 个**reduce**,但是输出目录下面只有一个输出文件,如下图所示。...

海牛部落 Java 系列教程(12)异常处理 by 青牛 青牛

https://hainiubl.com/topics/137? 2017-07-07 ⋅ 20460 ⋅ 16 ⋅ 71
###1、 为什么要处理异常 异常处理不是为了让程序不出错,而是为了一旦程序出错,能够有一个相关的机制让程序执行一些代码来减少损失,使程序更加健壮、可维护。 这些代码是事先写好的,只有在错误发生的时候才会运行。 ###2、 异常的概念和分类 ####2.1 概念 异...

海牛部落: Java 系列教程 (10)包装类、常用类 by 青牛 青牛

https://hainiubl.com/topics/138? 2017-07-07 ⋅ 20595 ⋅ 6 ⋅ 76
###1、包装类 ####1.1 包装类简介 包装类是为了把基本类型包装成对象类型,从而能被 Object 类型统一管理。 Sun 公司为我们提供的八种包装类 ![file](http://hainiubl.com/uploads/images/201707/07/426/z0x1TlVgwE.png) ####1.2 六种转换 三种类型,指的是字符...

海牛部落 Java 系列教程 (13)Java I/O by 青牛 青牛

https://hainiubl.com/topics/139? 2017-07-07 ⋅ 23710 ⋅ 8 ⋅ 89
###1、什么是I/O 将 JVM 中的数据写出去,我们称为数据的输出(O)。反之,将数据读入 JVM,我们称之为数据的输入(I)。因此, Java 中解决这部分问题的 API 被称为 I/O。( I 是英语 Input 的首字母,表示输入, O 是英语 Output 的首字母,表示输出) ![file](http...

海牛部落 oozie 系列教程(三十四):oozie 基本元素、oozie_SSH、MySQL 命令导入导出、tomcat 与 HTML 介绍 by 青牛 青牛

https://hainiubl.com/topics/140? 2017-07-11 ⋅ 18046 ⋅ 36 ⋅ 57
###1. tomcat ![file](http://hainiubl.com/uploads/images/201707/11/426/otocbEUXv0.png) bin 控制脚本 conf 配置 server.xml web.xml webapps 放web应用的地方 ROOT 根项目 OTHER 其它项目 log 日志...

从大数据到人工智能 我们还有多远的路要走 by 青牛 青牛

https://hainiubl.com/topics/141? 2017-07-12 ⋅ 3643 ⋅ 0 ⋅ 0
从去年开始,从政府到企业,从分析机构到业界专家,几乎所有的企业和个人都将目光锁定到了人工智能上。如果说2016年是人工智能的新纪元,人们对于人工智能的探讨还是基于概念的探讨和前景的展望上,那么2017年则是人工智能如何落地的关键一年。 从广义上讲,人工...

海牛部落 Java 基础教程 (15) 多线程 by 青牛 青牛

https://hainiubl.com/topics/142? 2017-07-17 ⋅ 34288 ⋅ 18 ⋅ 136
###1、 线程和进程 计算机的核心是CPU,它承担了所有的计算任务。它就像一座工厂,时刻在运行。 ![file](http://hainiubl.com/uploads/images/201707/17/426/3BHhyYs9pB.png) 假定工厂的电力有限,一次只能供给一个 车间使用。也就是说,一个车间开工的时候...

人工智能发展应高度重视大数据支撑作用 by 青牛 青牛

https://hainiubl.com/topics/143? 2017-07-20 ⋅ 4126 ⋅ 14 ⋅ 1
2016年以来,全球迎来人工智能发展新一轮浪潮,人工智能成为各方关注的焦点。从软件时代到互联网,再到如今的大数据时代,数据的量和复杂性都经历了从量到质的改变,可以说大数据引领人工智能发展进入重要战略窗口。   **从发展意义来看,人工智能的核心在于数据支...

海牛部落 Java 系列教程 :(14) MySQL 据库数与 JDBC 编程 by 青牛 青牛

https://hainiubl.com/topics/144? 2017-07-21 ⋅ 23577 ⋅ 36 ⋅ 86
###1 数据库基本概念、Mysql安装及Mysql命令 ###1.1 数据库 数据库简而言之就是数据的集合,它是由文件系统存储数据发展起来的。 数据库系统解决了多人数据库读取和写入的并发性问题,同时它提供了事务处理的机制,使得存储和管理数据库数据更加安全可靠。 数据库...

海牛部落 java 基础系列教程:(1) java 语言概述 by 青牛 青牛

https://hainiubl.com/topics/149? 2017-09-15 ⋅ 37306 ⋅ 92 ⋅ 125
什么是编程思想? 所谓的编程思想,简单的说,就是程序员的思考方式。程序员在编程的时候,需要按照一定的思考方式,把需求变成具体的代码,这种思考方式,就是编程思想。 如何转变思想? 例如:去饭店吃饭,饭店有会员卡。 消费300 办会员卡的前提条件:近...

海牛部落 java 系列教程:(2)数据类型和运算符 by 青牛 青牛

https://hainiubl.com/topics/150? 2017-09-15 ⋅ 29215 ⋅ 63 ⋅ 106
###一、常量与变量 直接量 生活中用到的数值,例如: 整数数值:1,23,454 等; 小数数值:3.14,2.3e4 等; 字符型数值:‘a’,‘b’ 等; 布尔型数值: 用来表示真假值,true 、false。 String类型:用双引号括起来的多个字符序列,“move all",...

海牛部落 java 系列教程:(6)对象和类 by 青牛 青牛

https://hainiubl.com/topics/151? 2017-09-15 ⋅ 20603 ⋅ 10 ⋅ 69
###1 面向对象思想 1.1 面向过程与面向对象 面向过程:procedure oriented programming POP 面向过程是分析解决问题的步骤,然后用函数把这些步骤一步一步的实现,然后在使用的时候一一调用则可,这强调的是过程动作。 ![file](http://hainiubl.com/uplo...

海牛部落 java 系列教程:(7)面向对象三大特性 by 青牛 青牛

https://hainiubl.com/topics/152? 2017-09-15 ⋅ 19848 ⋅ 15 ⋅ 71
面向对象三大特性指的是:封装、继承、多态。这三大特性支撑了整个面向对象的理论体系,是面向对象的核心。 ###1、封装 1.1 理解封装 封装:将对象的状态信息隐藏在对象内部,不允许外部程序直接访问对象内部信息,而是通过该类所提供的方法来实现对内部信息的操作...

海牛部落 java 系列教程:(8)final 和 abstract by 青牛 青牛

https://hainiubl.com/topics/153? 2017-09-15 ⋅ 20122 ⋅ 24 ⋅ 64
###1、final final 属性能够修饰变量、方法和类 1.1 常量 用 final 修饰的变量则称为常量。一旦赋值,其值不能改变的变量。 对象类型的变量中,保存的是对象的地址,因此所谓“一旦赋值,不能改变”,是指的对象的地址不能改变。 final修饰的变量必须由程序员显示...

海牛部落 java 系列教程:(9)接口、内部类、枚举类、对象与垃圾回收 by 青牛 青牛

https://hainiubl.com/topics/154? 2017-09-15 ⋅ 22977 ⋅ 24 ⋅ 87
###1 接口 1.1 接口的语法 接口(interface)是抽象方法和常量值的定义的集合 从本质上讲,接口是一种特殊的抽象类,这种抽象类中只包含常量和方法的定义,而没有变量和方法的实现。 从语义上理解为对象具备的某种能力,是对行为的抽象 一个类可以实现多个接口,...

海牛部落 java 系列教程:(11)集合 by 青牛 青牛

https://hainiubl.com/topics/159? 2017-09-19 ⋅ 18152 ⋅ 14 ⋅ 56
![file](http://hainiubl.com/uploads/images/201709/19/971/3BoHtgP8FJ.png) ![file](http://hainiubl.com/uploads/images/201709/19/971/2rPFjPnOqD.png) ![file](http://hainiubl.com/uploads/images/201709/19/971/ysJSoYNlUB.png) ![file](http://hainiub...

海牛部落 java 系列教程:(16) 类加载机制与反射 by 青牛 青牛

https://hainiubl.com/topics/164? 2017-09-20 ⋅ 10442 ⋅ 24 ⋅ 22
###1 类加载机制 1.1 类的生命周期 ![file](http://hainiubl.com/uploads/images/201709/20/997/eZjqrkOsbW.png) 1.1.1 类的加载 类的加载指的是将类的.class文件中的二进制数据读入到内存中,将其放在运行时数据区的方法区内,然后在堆区创建一个java...

海牛部落 java 系列教程:(17) 网络编程 by 青牛 青牛

https://hainiubl.com/topics/165? 2017-09-20 ⋅ 12177 ⋅ 6 ⋅ 23
![file](http://hainiubl.com/uploads/images/201709/20/997/9bUrF0LJys.png) 其中: ISP:(Internet Service Provider),互联网服务提供商,即向广大用户综合提供互联网接入业务、信息业务、和增值业务的电信运营商。 NAP:是因特网的路由选择层次体系中...

海牛部落 Linux 系列教程:(1) 在虚拟机中安装 CentOS7.0 by 青牛 青牛

https://hainiubl.com/topics/166? 2017-09-22 ⋅ 34331 ⋅ 31 ⋅ 137
###1 安装虚拟机 1.1 下载虚拟机 请自行去网上下载VMware12 破解版。 服务器上已经有VMware12 虚拟机软件,可以去服务器上down。 1.2 安装虚拟机 步骤略。 参考: http://jingyan.baidu.com/article/2d5afd69c45ba685a2e28ee2.ht...

海牛部落 Linux 系列教程:(2) Linux 简介及权限概述 by 青牛 青牛

https://hainiubl.com/topics/167? 2017-09-22 ⋅ 28261 ⋅ 32 ⋅ 117
![file](http://hainiubl.com/uploads/images/201709/22/997/yOPgMHZSfJ.png) ###1 Linux 简介 Linux可以有狭义和广义两种定义。 狭义来说,Linux实际上指Linux kernel (内核)。内核负责管理硬件,并为上层应用提供接口。 而广义来说,是指以Linux kernel 为基...