http://www.hainiubl.com/topics/76283

@被遗忘的十七 而且spark优化必须从java底层考虑

@被遗忘的十七 学spark之前先前一下scala，spark是用scala写的

python是个很好的工具语言可以用作补充学习，在大数据方面不要做为主语言去学习

毫无疑问是java，因为大数据体系所有系统是以java为基础语言打造的，所以学java不仅更方便的做大数据开发工作（因为有java原生的api支持），还能让你更好的去理解原理解决问题等等（因为你会java能看懂源码）。

用数据平台根据项目要求，有的项目要求稳定性高就用，因为大数据平台做好了各组件集成就已经把兼容性问题解决了，这样会少很多麻烦。当然公司得额外花钱买这种平台，所以说一般不差钱图省事的公司都会用。当然很多公司都选择剩下这笔钱选择开源的自己去集成，然后再找专业的技术人员去弄。
存储数据量和内存 CPU关系小和硬盘关系大，NameNode节点内存给大点加上大硬盘就可以存储大量数据了，但是你其他节点内存和CPU少会算的慢但是不影响存
总数据量乘以三倍去评估存储空间，总CPU核或内存乘以2倍 取两者最大值去评估算力，所以自己根据单台机器的算力和存储去评估一下

因为有实验正在启动中，你等一会就好了

@周照龙 6哥，哈哈白嫖进行到底

对的也是各临时表跑完，再最后跑一个汇总SQL。一个大SQL写完整个的，一来可读性差，二来如果有一个阶段跑错了整体要重跑。

你过了3天适合期了，可以购买资源，如果是学生可以免费申请资源
价格看这里：http://www.hainiubl.com/topics/76255

@flyfish1029 这个程序的本意是通过不断的学习技术，当能力达到100的时候就去工作赚钱，否则就不断的学习增加能力并且在达到一定阶段的时候进行技术分享。在没有达到100能力的时候就不停的递归学习

你说的是我们的VPN功能，这里有功能介绍https://www.bilibili.com/video/BV12W4y1p7Fr?p=35
这个要付费的30元每月

@bigdataLuLu 哈哈，雨露均沾。成年人不选择都要

@suyl http://www.hainiubl.com/topics/76283