关于 “” 的搜索结果, 共 2411 条

96
96
96
96
96

kerberos 与 sentry 原理及使用 by 犀牛 犀牛

https://hainiubl.com/topics/75614? 2021-06-04 ⋅ 1999 ⋅ 0 ⋅ 0
# 安全认证与权限管理的必要性 * 非安全集群 ![file](http://www.hainiubl.com/uploads/md_images/202106/04/15/40529206.png) ![file](http://www.hainiubl.com/uploads/md_images/202106/04/15/40588367.png) * 安全认证集群 ![file](http://www.hainiubl.com...

cdh 大数据平台搭建 by 犀牛 犀牛

https://hainiubl.com/topics/75615? 2021-06-04 ⋅ 4688 ⋅ 0 ⋅ 17
# 安装包下载 链接: https://pan.baidu.com/s/1dyvSej5tSrUC4ja8-usqvA 提取码: a9hx # 上传压缩包 上传cdh6.3.2.tar安装包到linux服务器，并解压 ```sh tar -xvf cdh6.3.2.tar -C /tmp/ ``` ![file](http://www.hainiubl.com/uploads/md_images/202...

kerberos 部署 by 犀牛 犀牛

https://hainiubl.com/topics/75616? 2021-06-04 ⋅ 1956 ⋅ 0 ⋅ 0
# kerberos部署 选择worker1节点作为kerberos服务端 ```sh #安装kerberos软件 yum -y install krb5-server krb5-libs krb5-auth-dialog krb5-workstation #安装sasl工具，impala启用kerberos时需要sasl工具 yum -y install cyrus-sasl-plain cyrus-sasl-devel cyrus-s...

大数据平台概述 by 犀牛 犀牛

https://hainiubl.com/topics/75617? 2021-06-04 ⋅ 2923 ⋅ 0 ⋅ 0
# 主流大数据平台介绍 * CDH（Cloudera Distribution Hadoop） 由Cloudera公司开发，有开源版本与商业版本，Cloudera公司2018年和hortonworks公司合并，较为出名的贡献为impala是由Cloudera公司开源贡献给Apache基金会。大数据平台在国内各大企业中应用广泛，甚至开源...

sentry 部署 by 犀牛 犀牛

https://hainiubl.com/topics/75618? 2021-06-04 ⋅ 2381 ⋅ 0 ⋅ 0
# cdh添加sentry服务 Cloudera Manager -> Cluster 1 -> Add Service -> Sentry ![file](http://www.hainiubl.com/uploads/md_images/202106/04/15/image-20210525214811974.png) 选择Sentry Server所在服务器，Gatway可以不选。 ![file](http://www.hainiubl.com...

Docker 相关命令 by 透心凉 透心凉

https://hainiubl.com/topics/75620? 2021-06-04 ⋅ 1996 ⋅ 0 ⋅ 0
##### 镜像仓库 ```sh docker search centos #搜索镜像 docker pull centos #拉取镜像（不指定版本，默认最新版） docker tag image_name tag_name #将镜像打标签 docker push image_name repository_name/image_name #repository_name...

怎么用 kettle 做整个离线数仓的 etl 过程怎么做？ by 然. 然.

https://hainiubl.com/topics/75621? 2021-06-04 ⋅ 2547 ⋅ 1 ⋅ 6
这几天 研究了一下 会了一些转换 ，但是感觉 还是不太会 怎么个流程去做阿 拿到原始表 把数据转换到ods层 然后到dwd呢 抽取ods几张表中需求的字段 转换过去吗！

K8S 将 pod 调度到指定 nodes 上运行 by 透心凉 透心凉

https://hainiubl.com/topics/75623? 2021-06-04 ⋅ 2662 ⋅ 2 ⋅ 0
# K8S将pod调度到指定nodes上运行 #### 两种方式 ##### 方式1：强制固定 * 编写yaml，添加参数（node节点名） ```sh vim text.yaml nodeName: worker01 #添加节点名参数 ``` * 具体yaml ```yaml apiVersion: v1 kind: Pod metadata: name: text namespace: t...

Linux 系列之一 Linux 简介 by 青牛 青牛

https://hainiubl.com/topics/75631? 2021-06-04 ⋅ 2490 ⋅ 0 ⋅ 0
# 1 Linux概述 ## 1.1 操作系统简介 ### **1.1.1 为啥需要操作系统呢 ?** ​ 计算机是一台机器，它按照用户的要求接收信息、存储数据、处理数据，然后再将处理结果输出（文字、图片、音频、视频等）。计算机由硬件和软件组成： - 硬件是计算机赖以工作的实体，包括...

Linux 系列之二 Linux 安装 by 青牛 青牛

https://hainiubl.com/topics/75632? 2021-06-04 ⋅ 2488 ⋅ 0 ⋅ 0
# 2 Linux安装 ## 2.1 安装虚拟机VMware12 ### 2.1.1 VMware简介 ​ VMware总部位于美国加州帕洛阿尔托，是全球云基础架构和移动商务解决方案厂商，提供基于VMware的解决方案，企业通过数据中心改造和公有云整合业务，借助企业安全转型维系客户信任 ，实现任意云端...

Linux 系列之三配置静态网卡 by 青牛 青牛

https://hainiubl.com/topics/75633? 2021-06-04 ⋅ 2448 ⋅ 0 ⋅ 0
# 3 配置静态网卡 ## 3.1 为什么要修改静态IP ​ 因为如果采用DHCP来自动获取IP的话 只要一断网 WM就会重新获取当前IP的下一个IP,所以必须改成静态的来防止这种卑鄙的现象 DHCP : Dynamic Host Configuration Protocol，动态主机配置协议，在指定的ip段内生成ip地址...

Linux 系列之四用户与用户组 by 青牛 青牛

https://hainiubl.com/topics/75634? 2021-06-04 ⋅ 2298 ⋅ 0 ⋅ 0
# 1 linux的用户与用户组 ## 1.1 概述 ​ Linux是一个真实的、完整的多用户多任务操作系统，多用户多任务就是可以在系统上建立多个用户，而多个用户可以在同一时间内登录同一个系统执行各自不同的任务，而互不影响。 ​ root ：系统维护 ​ www：网页修改 ​ ftp...

Linux 系列之五用户组实战 by 青牛 青牛

https://hainiubl.com/topics/75635? 2021-06-04 ⋅ 2388 ⋅ 0 ⋅ 0
# 2 linux用户组实战 因为用户组与用户是一对多的关系,用户肯定是要从属于某个组的,所以我们先从用户组操作起来 ## 2.1 查询用户组 ### 2.1.1 用户组组信息的查询 执行 : ``` #cat 命令，查看某个文件的内容 /etc（配置文件目录）/group（配置文件） [root@lo...

Linux 系列之六用户实战 by 青牛 青牛

https://hainiubl.com/topics/75636? 2021-06-04 ⋅ 2282 ⋅ 0 ⋅ 0
# 集群操作 * 查看集群健康情况 ```json GET /_cat/health?v ``` ![file](http://www.hainiubl.com/uploads/md_images/202106/05/11/image-20210604204102135.png) * 查看索引状态 ```json GET /_cat/indices?v ``` ![file](http://www.haini...

hive 数据导入 es by 犀牛 犀牛

https://hainiubl.com/topics/75637? 2021-06-05 ⋅ 2517 ⋅ 0 ⋅ 0
# es-hadoop插件 上传es-hadoop插件到集群 # 准备hive数据 ```sql -- 连接hive beeline -u "jdbc:hive2://worker-1:10000/;principal=hive/worker-1@HAINIU.COM" -- 创建临时表 create table if not exists xiniu.hivetable( pk string, col1...

安装 es 与 kibana by 犀牛 犀牛

https://hainiubl.com/topics/75638? 2021-06-05 ⋅ 2083 ⋅ 0 ⋅ 0
# 下载es、kibana包 ![file](http://www.hainiubl.com/uploads/md_images/202106/05/11/image-20210604154540347.png) ## 安装es集群 * 解压elasticsearch安装包，修改配置文件 ```sh vim /opt/elasticsearch-7.13.1/config/elasticsearch.yml ``` ![file](http:...

es 理论 by 犀牛 犀牛

https://hainiubl.com/topics/75639? 2021-06-05 ⋅ 2109 ⋅ 0 ⋅ 0
# elasticsearch简介 ​ Elasticsearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口。Elasticsearch是用Java语言开发的，并作为Apache许可条款下的开放源码发布，是一种流行的企业级搜索引擎。Elasticsearch用于云...

es on kibana 实操 by 犀牛 犀牛

https://hainiubl.com/topics/75640? 2021-06-05 ⋅ 2025 ⋅ 1 ⋅ 0
# 集群操作 * 查看集群健康情况 ```json GET /_cat/health?v ``` ![file](http://www.hainiubl.com/uploads/md_images/202106/05/11/image-20210604204102135.png) * 查看索引状态 ```json GET /_cat/indices?v ``` ![file](http://www.hainiubl.com/uploads/md...

reducerbykey 的使用问题？ by 岁月流年 岁月流年

https://hainiubl.com/topics/75641? 2021-06-07 ⋅ 2353 ⋅ 1 ⋅ 12
我定义了20个Long 类型的变量 ，如何定义才能用reducerbykey ，每个字段不能丢 后期要对 时间段，批次，和全部进行统计 我自己定义了一个但是报错 ``` JavaPairDStream<Long, Tuple19<Long, Long, Long, Long, Long, Long, Long, Long, Long, Long, Long, Long, L...

北京老学员大数据组急招 by yang yang

https://hainiubl.com/topics/75645? 2023-07-01 ⋅ 2873 ⋅ 1 ⋅ 1
最近打算在北京换工作的同学看过来 老学员大数据组最近在招人，本科毕业2年起，基本功扎实，刚培训完也可以投简历过来。

SHELL by 123456789987654321 123456789987654321

https://hainiubl.com/topics/75646? 2021-06-09 ⋅ 2498 ⋅ 1 ⋅ 0
shell脚本 ## 1.基本语法 ### 1).vim ```shell o:光标下一行输入 dd:删除本行内容 ndd：删除包括本行及以后的n行文本 ZZ:保存并退出 gg:移动到文件开头 G:移动到文件末尾 gg回到文件开头 dG删除所有的文本内容 ``` ### 2）echo ```shell e...

Web 开发，如何在浏览器的前端页面中，通过开发人员工具，找到某一模块的数据来源？ by 天烁 天烁

https://hainiubl.com/topics/75647? 2021-06-09 ⋅ 2446 ⋅ 0 ⋅ 2
有什么方法可以在浏览器的前端页面中，通过开发人员工具，找到某一块数据的来源 ？

重名造成线程冲突？ by 岁月流年 岁月流年

https://hainiubl.com/topics/75648? 2021-06-09 ⋅ 2351 ⋅ 0 ⋅ 4
``` JavaPairDStream<Long, List<Long>> tatoalOrMmeReivers = transform.mapPartitionsToPair(m -> { List<Tuple2<Long, List<Long>>> outList = new LinkedList<>(); Long minTime = 1609430400000L; Long maxTime = 205...

Hadoop 集群搭建 -->1 by 123456789987654321 123456789987654321

https://hainiubl.com/topics/75649? 2021-06-09 ⋅ 2221 ⋅ 0 ⋅ 0
# Haoop集群搭建 ## 1.安装rzsz ```shell yum install -y lrzsz ``` ### 配置阿里云 yum 源 ### 1).更新yum源 下载repo ```shell yum -y install http://mirrors.aliyun.com/repo/Centos-7.repo cp Centos-7.repo /etc/yum.repos.d/ && cd /etc/yum...

yarn 队列调优？ by 南无 南无

https://hainiubl.com/topics/75654? 2021-06-09 ⋅ 1926 ⋅ 0 ⋅ 3
yarn队列分为三块，一块儿default 一块儿跑批任务，一块跑流任务，后面流任务队列资源不够，如何进行调优？

gaussdb200 理论 by 犀牛 犀牛

https://hainiubl.com/topics/75655? 2021-06-09 ⋅ 3702 ⋅ 2 ⋅ 0
# gauss200简介 ​ MPP即大规模并行处理(Massively Parallel Processing ),在数据库非共享集群中,每个节点都有独立的磁盘存储系统和内存系统,业务数据根据数据库模型和应用特点划分到各个节点上,每台数据节点通过专用网络或者商业通用网络互相连接,彼此协同计算,作为整...

gaussdb200 实操 by 犀牛 犀牛

https://hainiubl.com/topics/75656? 2021-06-09 ⋅ 2863 ⋅ 1 ⋅ 0
# 连接gaussdb * 切换用户 ```sh su - omm ``` * 加载环境变量 ```sh source ${BIGDATA_HOME}/mppdb/.mppdbgs_profile ``` * 连接数据库 ```sh gsql -d postgres -p 25308 ``` * 创建用户 ```sql create user xiniu with password "xiniu...

gaussdb200 数据类型 by 犀牛 犀牛

https://hainiubl.com/topics/75657? 2021-06-09 ⋅ 3078 ⋅ 2 ⋅ 0
# 数值类型 * 整数类型 | 名称 | 描述 | 存储空间 | 范围 | | -------------- | ------------------------------------------- | -------- | -------------...

gaussdb200 常用函数 by 犀牛 犀牛

https://hainiubl.com/topics/75658? 2021-06-09 ⋅ 3500 ⋅ 1 ⋅ 0
# 字符操作函数 * length(string bytea, encoding name ) 描述：指定encoding编码格式的string的字符数。在这个编码格式中，string必须是有效的。 返回值类型：int ```sql SELECT length('jose', 'UTF8'); /* length -------- 4 (1 row)...

gaussdb200 数据库设计 by 犀牛 犀牛

https://hainiubl.com/topics/75659? 2021-06-09 ⋅ 3189 ⋅ 1 ⋅ 0
# 设计规范选择 ​ 在实际生产过程中，尤其是在模型设计的过程中经常会涉及到范式化问题，我们分为范式化和逆范式化两种。 | 模型 | 数据冗余 | 性能...