视频配套笔记、源码、使用软件：可加微信：18613807937 索要

从错误描述上看 需要 glibc-2.17-222.el7.i686 把这个包先卸载了 然后安装glibc-2.17-105.el7.x86_64 这个替换下

将执行操作的用户添加到supergroup用户组

Spark Application的用户没有Hdfs“/user”目录的写入权限

https://www.elastic.co/guide/en/elasticsearch/hadoop/current/spark.html

1、pom文件中的{} 可以改为本地路径
2、pom文件中的地址 最好是国内能快速访问的
3、包很多 下载起来确实慢 第一次下载好了以后就快了

一对多 如果用一的一边左关联多的一边 会让结果和多一边数量差不多的

TensorFlow一般做深度学习的场景多一些 比如图像识别和语音处理等 spark 的 ml 以及 python 的 scikit-learn的交集很多 比如逻辑回归等很多分类或是回归的算法 都有mllib和python的实现 但是spark的优势是可以处理数据量级高 比如TB和PB 缺点是算法种类有限 精度也没有python的好，scikit-learn处理的数据量在GB级 包内算法是最全面的，开始学习最好从scikit-learn开始 简单易上手

能，找到对应的inputformat实现就行，如果没有就自己实现一个对应的inputFormat。

目前来看两个不是一个东西，spark是全套的大数据处理方案，虚拟化技术是虚拟化资源使用的其本事并不具备大数据处理的能力。spark是大数据开发，虚拟化是偏运维。

@好好学习 不好意思，我打错了，我的意思是你可以给你的虚拟机再挂一个磁盘。就是用VM先新建一个虚拟盘，然后用fdisk挂载上，然后把hadoop的数据和日志都放到新挂载的磁盘上。

把hive的hive-site.xml移动到spark的conf目标下试试

这个得有JS实现，你找一个应该有现成的开源工具