关于 “” 的搜索结果, 共 2411 条
sqoop 实操
by
犀牛
https://hainiubl.com/topics/75727?
2021-06-19
⋅
2108
⋅
2
⋅
0
# sqoop常用参数
> 安全环境下操作需要做安全认证
* 常用命令
| 命令名称 | 对应类 | 命令说明 |
| ----------------- | ------------------- | ----------------------------------------- |
| **import**...
kerberos 客户端配置
by
犀牛
https://hainiubl.com/topics/75728?
2021-06-21
⋅
2671
⋅
1
⋅
0
# mac版
* 检查操作系统是否安装kerberos客户端
```sh
kinit
# 如果提示找不到命令，请使用如下命令安装
brew install krb5
```
* 下载并修改配置文件
```sh
# 下载kerberos服务端的krb5.conf文件到本地，复制到/etc/目录下
# 修改为如下内容
# Configuration snipp...
北京-百度-招聘 2 个大数据开发人员-学长面试
by
yang
https://hainiubl.com/topics/75729?
2023-06-29
⋅
3121
⋅
2
⋅
2
学生内推面试定人啦！！！
百度-base地北京-招聘2名大数据开发工程师
简历递交给许哥或杨姐，海牛毕业学长面试， 机会莫要错过呀！！！:smile:
scala 递归方法返回值处理?
by
忘尘
https://hainiubl.com/topics/75731?
2021-06-22
⋅
2188
⋅
0
⋅
1
```scala
object Solution {
def permutation(s: String): Array[String] = {
var res = new scala.collection.mutable.ArrayBuffer[String]
var chars = s.toCharArray
val loop = new scala.util.control.Breaks
val swa...
flink 消费 kafka 数据问题？
by
DamonBand
https://hainiubl.com/topics/75732?
2021-06-25
⋅
2175
⋅
0
⋅
4
flink按groupid消费kafka数据 可能存在丢包现象么
kerberos 环境 MapReduce 跨平台提交
by
犀牛
https://hainiubl.com/topics/75733?
2021-06-28
⋅
2472
⋅
1
⋅
0
# 配置文件
cdh yarn界面下载客户端配置文件
下载后放在代码的conf目录中，下载krb5.conf与keytab文件放入conf文件夹中，如下：
树叶流年
https://hainiubl.com/topics/75734?
2021-06-29
⋅
2290
⋅
0
⋅
2
请教各位大佬，zookeeper和kafka都启动了，而且kafka也可以生产消费，但是启动flink运行，就会报org.apache.flink.client.program.ProgramInvocationException: Job failed. (JobID: ebf98ad3ebe289ec4f30e33a6fabb766)
by
123456789987654321
https://hainiubl.com/topics/75735?
2021-06-30
⋅
2764
⋅
1
⋅
2
# mysql安装
## 1.安装步骤
```shell
#更新集群时间
./ssh_root.sh ntpdate time1.aliyun.com
[hadoop@nn1 tmp]$ cd download/
1.#下载yum原
wget https://dev.mysql.com/get/mysql57-community-release-el7-11.noarch.rpm
2.#安装mysql 源
rpm -i...
请教下：sql 根据统计次数将数据拆分成多行怎么实现？
by
四喜丸子
https://hainiubl.com/topics/75736?
2021-06-30
⋅
2269
⋅
0
⋅
1
请教下，怎么在oracle存储过程中实现这个？
HIVE 基础-->函数操作
by
123456789987654321
https://hainiubl.com/topics/75737?
2021-07-02
⋅
2185
⋅
1
⋅
0
# Hive
## 一、表SQL操作
### 1. 通过select数据集创建表
```sql
--只能是内部表，不支持分区，分桶
--通过select数据集创建表语法格式
create table table_name [stored as orc]
as
select ......
--例如
create table inner_test1 as
select wo...
Hive 提交 job 失败？
by
DamonBand
https://hainiubl.com/topics/75738?
2021-07-03
⋅
1954
⋅
0
⋅
5
HIVE 基础-->UDF 函数,优化
by
123456789987654321
https://hainiubl.com/topics/75739?
2021-07-03
⋅
2262
⋅
0
⋅
0
# idea运行 运行 hive模型
```java
//查看hive目录
which hive
//通过sh -x /usr/local/hive/bin/hive查看执行了那个类
sh -x /hive目录
```
## 1.hiveRunner启动类
```java
1.ctrl+N 搜索jar包中的启动类 org.apache.hadoop.hive.cli.CliDrive
public...
8088 端口只有一个节点？
by
DamonBand
https://hainiubl.com/topics/75740?
2021-07-04
⋅
2205
⋅
0
⋅
4
scala 系列之 06scala 懒加载 lazy
by
潘牛
https://hainiubl.com/topics/75741?
2021-07-08
⋅
2322
⋅
0
⋅
0
# **7 懒加载 lazy**
惰性变量用法放在不可变变量之前；
只有在调用惰性变量时才会去实例化这个变量，类似于java中单例模式的懒汉模式；
作用：是将推迟复杂的计算，直到需要计算的时候才计算，而如果不使用，则完全不会进行计算。
```java
//没有lazy关键字的时候...
scala 系列之 07scala 集合常用方法和函数操作
by
潘牛
https://hainiubl.com/topics/75742?
2021-07-08
⋅
2177
⋅
0
⋅
0
# **8 集合常用方法和函数操作**
## **foreach**
oreach 方法的原型：
```java
// f 返回的类型是Unit， foreach 返回的类型是Unit
def foreach[U](f: Elem => U)
```
该方法接受一个函数 f 作为参数， 函数 f 的类型为Elem => U，即 f 接受一个参数，参数的类型为...
scala 系列之 08scala 类和构造器
by
潘牛
https://hainiubl.com/topics/75743?
2021-07-08
⋅
2066
⋅
0
⋅
0
# **9 类**
类和对象是Java、C++等面向对象编程的基础概念。类是用来创建对象的蓝图。定义好类以后，就可以使用new关键字来创建对象。
scala 如果不写权限修饰符，默认是public。
一个类文件可以声明多个类；
定义语法：
```java
//模板类
class 类...
scala 系列之 09scala 单例对象和伴生对象
by
潘牛
https://hainiubl.com/topics/75744?
2021-07-08
⋅
2325
⋅
0
⋅
0
# **11 单例对象**
在scala中没有像java一样的static关键字；
在scala中是没有静态方法和静态字段的，但是可以使用object关键字加类名的语法结构实现同样的功能；
在scala中用object修饰的为单例对象，单例对象中主要存放常量和工具方法；
![file](http://www.hain...
scala 系列之 10scala 的 private 关键字
by
潘牛
https://hainiubl.com/topics/75745?
2021-07-08
⋅
2515
⋅
0
⋅
0
# **13 private关键字总结**
**修饰class**
1、在class前面使用private可以被相同包（包含递归子包）访问（能引入类）；
2、在class前面使用private[包名]代表是包的访问权限，只能指定的包名和子包（包含递归子包）下才能访问；
**private修饰** 主构造器、主构造...
scala 系列之 11scala 模式匹配
by
潘牛
https://hainiubl.com/topics/75746?
2021-07-08
⋅
2145
⋅
0
⋅
0
# **14 模式匹配**
## **14.1 match 语句**
match 语句用在当需要从多个分支中进行选择的场景，类似于java 中的switch 语句。
语法：
```java
变量 match{
case "值" => 语句块1 // 语句块后不用加break
case "值2" => 语句块2
case _ => 语句块N...
scala 系列之 12scala 的 apply 和 unapply 方法
by
潘牛
https://hainiubl.com/topics/75747?
2021-07-08
⋅
2246
⋅
0
⋅
0
# **15 apply和unapply方法**
**apply、unapply方法都被隐式的调用**
**apply方法：**
1）在一个类的伴生对象中定义apply方法，在生成这个类的对象时，就省去了new关键字。
2）apply方法的参数列表不需要和构造函数的参数列表统一，也就是说apply 方法支...
scala 系列之 13scala 样例类和样例对象
by
潘牛
https://hainiubl.com/topics/75748?
2021-07-08
⋅
2485
⋅
0
⋅
0
# 16 样例类和样例对象
**样例类**
在class 前加上 case 关键字，这样的类称为样例类。默认实现了Serializable接口，可以封装数据。
scala 为每一个样例类自动生成一个伴生对象，在该伴生对象中自动生成的模板代码包括：
1）一个apply 方法，实例化该类的时候无...
scala 系列之 14scala 抽象类和特质
by
潘牛
https://hainiubl.com/topics/75749?
2021-07-08
⋅
2639
⋅
0
⋅
0
# **17** **抽象类（abstract class）与 特质（trait）**
**抽象类：**
抽象类与Java相似，只是Java中没有属性的抽象，scala可以有属性的抽象；
**特质：**
可以把特质理解成Java中升级版的接口
在Java中接口不能声明没有值的属性和有实现的方法，...
scala 系列之 15scala 高阶函数和部分参数函数
by
潘牛
https://hainiubl.com/topics/75750?
2021-07-08
⋅
2489
⋅
0
⋅
0
# 18 高阶函数
在数据和计算中，高阶函数是至少满足下列一个条件的函数：
1）接受一个或多个函数作为输入
2）输出一个函数
**输出一个函数**
```java
// 输出Int类型
scala> def add(a:Int, b:Int) = a + b
add: (a: Int, b: Int)Int
// 输出函数Int =>...
scala 系列之 16scala 的柯理化
by
潘牛
https://hainiubl.com/topics/75751?
2021-07-08
⋅
2386
⋅
0
⋅
0
# **20 柯理化**
柯里化（Currying）是把接受多个参数的函数变换成接受一个单一参数(最初函数的第一个参数)的函数，并且返回接受余下的参数且返回结果的新函数的技术。
是把接受多个参数的函数变成接受一个参数的函数；
**柯理化的两种表现形式：**
以 加法函...
scala 系列之 17scala 隐式转换
by
潘牛
https://hainiubl.com/topics/75752?
2021-07-08
⋅
2527
⋅
0
⋅
0
# 21 隐式转换
作用：能够丰富现有类库的功能，对类的方法进行增强，常用作类型转换也就是把一个类型转赋予另一个类的功能；
**隐式转换应用场景**
隐式转换函数、隐式值、隐式参数、隐式对象（只能在静态对象中使用）；
## 21.1 隐式转换函数
**隐式转换函数** 是...
scala 系列之 18scala 泛型
by
潘牛
https://hainiubl.com/topics/75753?
2021-07-08
⋅
2525
⋅
0
⋅
0
# **22 泛型**
泛型就是不确定的类型，可以在类或方法不确实传入类型时使用，可以提高代码的灵活性和复用性；
scala中泛型的用法和java中差不多，但是会有一些自己独特的语法；
泛型类：指定类可以接受任意类型参数。
泛型方法：指定方法可以接受任意类型参数。
#...
scala 系列之 19scala 的 actor 并发编程
by
潘牛
https://hainiubl.com/topics/75754?
2021-07-08
⋅
2602
⋅
0
⋅
0
# **23 Actor 并发编程模型**
## 23.1 Actor概述
**为什么要学习actor?**
我们现在学的Scala Actor是Scala 2.10.x版本及以前版本的Actor；
Scala在2.11.x版本中将Akka加入其中，作为默认的Actor，老版本的Actor已经废弃；
我们学习Actor的目的就是为了学习Ak...
scala 系列之 20akka 的 actor 并发编程
by
潘牛
https://hainiubl.com/topics/75755?
2021-07-08
⋅
2755
⋅
0
⋅
0
# 24 Akka
## **24.1 Akka 概述**
Spark的RPC是通过Akka类库实现的，Akka用Scala语言开发，基于Actor并发模型实现；
Akka具有高可靠、高性能、可扩展等特点，使用Akka可以轻松实现分布式RPC功能。
Actor是Akka中最核心的概念，它是一个封装了状态和...
Kerberos,sentry 操作 hive 以及 hbase 权限
by
123456789987654321
https://hainiubl.com/topics/75756?
2021-07-09
⋅
3682
⋅
1
⋅
0
# kerberos
## sed命令
```shell
#sed -i 就是直接对文本文件进行操作的
sed -i 's/原字符串/新字符串/' 文件名 对每行匹配的第一个字符进行替换
sed -i 's/原字符串/新字符串/g' 文件名 对每行所有的匹配的字符进行替换
#去掉 “行首” 带“@”的首字母@
s...
Hbase
by
123456789987654321
https://hainiubl.com/topics/75757?
2021-07-09
⋅
3541
⋅
0
⋅
0
# Hbase
## 查看acl hbase授权目录
```shell
scan 'hbase:acl'
```
## 1.查看hbase状态
```powershell
status
```
## 2.查看版本号
```powershell
version
``...