青牛主题列表_海汼部落 | IT学习->实战为王

为什么会报这个错误？

把代码贴一下吧

1000 节点的大数据集群 (hadoop,spark) 需要做哪些优化？

1、要看承载啥业务，比如空集群那你优化它有啥用
2、还是要看具体业务，没有最优的系统，只有符合业务的系统
3、大坑太多，其中最核心的坑就是不知道自己不知道

同一个 spark 项目中可以混用 python 和 scala 吗，有没有尝试过的大佬来交流下？

可以没啥影响不同语言的rdd可以互相转换

有没有大佬帮我看一下，为什么我这么写了 table 中没有数据显示啊，本人萌新一枚，求教~？

不太懂js

scala 是否有 spring cloud 套件？比如 scala 版本的 eurake,fegin 这些？

为啥要用scala做rpc，java不好吗

在 Spark 的 MLlib 中，不同的 distributed matrix 提供的计算接口为什么不一致呢？

因为spark默认的存储是存储大量数据，数据结构和算法严格绑定，这样计算速度就会更快，会有更多的优化空间，RowMatrix和IndexRowMatrix和computeSVD强绑定，CoordinateMatrix和BlockMatrix也可以通过扩展接口自己来写

yarn 是什么？

Yarn 的全称是 Yet Another Resource Negotiator意思是“另一种资源调度器”，为什么要叫另一种呢？肯定是之前的那种不好，资源调度的理解是负责资源管理和调度，什么是资源CPU，内存
几个核心概念：
1、容器（Container）这个东西是我们可以简单理解为一个虚拟机。
2、ResourceManager，整个系统有且只有一个 RM ，来负责资源的调度
3、ApplicationMaster也叫ap， Client 提交一个任务的时候，就会新建ap。ap 去与 RM申请创建一个或多个容器，然后在容器里进行分布式计算。
4、NodeManager 是 ResourceManager 在每台机器的上代理，监控他们的资源使用情况（cpu，内存，磁盘及网络等），以及向 RM报告使用信息。

kafka 为什么要实现自己的 channel?

channel是一个逻辑结构，一般是做资源或任务隔离，你可以理解为一个特殊的通道，但是在连接kafka的时候每个人写的接入方式不一样，导致了很多性能上的问题，所以kafka自己实现了通用的高性能的channel，使用的时候只需要配置一下就可以了，同时它充分考虑了利用kafka的特性进行性能上的优化，使接入的门槛降低，对开发者很有利。

在 spark 集群上部署 python 环境时,是不是每一台机器都要手动 install 第三方模块？

可以统一打包一个环境放在每一台spark机器上设置一下python的路径就行了

python 中如何隐藏 cmd 返回的提示？

import logging
logger.setLevel(logging.ERROR)

Python 将字符串写入文件时出现问题，应该怎么解决?

把代码发一些看看

在 scala 中 Future [Try [T]] 与 Try [Future [T]] 有什么区别？

[Future[T]] 保证了会返回一个T对象，所以说Future[Try[T]]也是一样的道理，即使Try失败了也一定返回一个T，但是Try[T], 一定会返回成功或是失败，当然Future对象保证了这两个过程都是异步的

zookeeper 客户端报以下错误，是什么原因导致？

zk的服务端开启了sasl验证客户端连接的时候需要用户名和密码或是认证文件

怎么数据库建立表示一直出现 can't create table (errno: 150) 错误？

外键上面的字段如果不是主键一定要要建索引