1、可能有任务之间的依赖 2、spark的内存最好自己代码释放 3、找到运行缓慢的代码
- 如何解决 Spark 大规模数据运行情况下，速度越来越慢的情况？
- spark 如何实现一个快速的 RDD 中所有的元素相互计算？
- Spark 是一种内存计算引擎，为什么他还要依赖 HDFS 这种文件系统呢？
- SparkStreaming 消费 kafka 数据，怎样解决大量初始化数据的问题？
- python 怎么设置 cuda 的随机数种子 curand？
- hadoop streaming 中 reduce 程序如何将结果保存在一个文件中输出？
- Hadoop 下 reduce 处理量最大是 1G 如果 order by 全局排序的文件超过 1G，系统如何处理？
- 关系数据修改后如何刷新 Hadoop 平台数据?
- 大的文件拆分后，怎样用 Hadoop 进行高效的处理这些小文件？以及怎样让各个节点尽可能的负载均衡？
- spark 开发词频统计应用，最后数据保存到 Hadoop 下的 data 文件里？
- cloudera manager 的 server 提示 cloudera-scm-server dead but pid file exists？请大神解决
- Hadoop 默认 map 数是 2，块大小 128M，当文件 为 512M 是会有几个 map，有几个 map 并行？
- hadoop 环境搭建及开发的 jdk 版本问题？
- 关于 zookeeper 在 hadoop 运用中的一个疑问？
- Notepad++ 中如何对 hadoop 文件进行修改保存？