pyspark的本质是local运算的 我不太清楚你说的矩阵并行是自己写的 还是调用python现成的 自己写的话应该不会有问题 调用现成的有问题 因为会在每个节点上本地上运行 并没有并行

主流数据处理工具 现在数据处理标配 如果不会这个就和现在支付不用手机一样尴尬

Hadoop2.7以后就行了

什么场景？处理什么样的数据？

来个demo为：
给定迭代初始值 (0, 0)。 元组 第一个记录分数，第二个记录数据条数
输入的数据，获取分数，累加到迭代值元组的第一个元素中，迭代值元组的第二个值记录条数加1 。
每一个分区迭代完毕后，各分区的迭代值合并成最终的迭代值
对最终的迭代处理，获取最终的输出结果。
所以说API说是合并累加器，就是要组内先合并在累加

写个python脚本处理一下吧 读取每个文件名和文件内容 这个用正则可能比较费劲，确实应该考虑换一个思路，当然不是正则实现不了 如果时间比较紧就换个思路把

每天都在做etl， 工作强度看不同项目进度把 不会一直忙 但是一个月至少有80%的时间是在忙的

不同任务 不同资源 时间不一样

会啊 看你怎么配置了
数据传输的事务定义通常有以下三种级别：
最多一次: 消息不会被重复发送，最多被传输一次，但也有可能一次不传输。
最少一次: 消息不会被漏发送，最少被传输一次，但也有可能被重复传输.
精确的一次（Exactly once）: 不会漏传输也不会重复传输,每个消息都传输被一次而且仅仅被传输一次，这是大家所期望的。
kafka的
“精确一次”是这么做的，可以通过将提交分为两个阶段来解决：保存了offset后提交一次，消息处理成功之后再提交一次。但是还有个更简单的做法：将消息的offset和消息被处理后的结果保存在一起。比如用Hadoop ETL处理消息时，将处理后的结果和offset同时保存在HDFS中，这样就能保证消息和offser同时被处理了。

把具体问题贴出来

把错误截图全一些 后面大段的错误看不见

其实区别不大 对sql的要求和bi差不多 但是要掌握更多的工具和编程语言 如hadoop hive hbase redis 语言包括java python scala等

这个帮不了你 推荐你看看jvm界的经典之作 《揭秘Java虚拟机：JVM设计原理与实现》

绿色字体的程序没有问题是吧 就是一个简单的继承，子类对象初始化优先调用父类构造方法，所以先打印T（）再打印B（）最后是调用子类的方法。
第二段代码 第一个语句son.minusOne（）这个方法调用的是son类的方法，但是son类没有这个方法 所以找到了父类，要执行的是对testvalue-1 这个this指的是父类 所以前两次打印的是0 99 this指的是当前对象 在父类中指的是父类对象 在子类中指的是子类对象
以此类推 后面一个打印是对子类的testvalue+1 所以是1 ， 变量前默认是有this指针的
最后一个打印 因为父类的testvalue刚刚被-1了 所以还是99

最好这么做 因为这样的话 gc会比较及时的回收这个对象 java和python中都建议不用的对象最好直接置空或是删除，这是一个好的编程习惯