目前主流的python是python3 所有的大数据组件都支持python接口的调用 就像很多c组件支持java开发一样

mp4这种大块的文件最好存到hdfs中，尤其是存完了不修改这种需求 hdfs是最好的选择

本地的处理的话 spark不是最合适的把 分布式处理数据的起点其实是TB级 少量的话体现不出来优势

会啊 本地处理的话没必要用spark 20g的数据用别的方法也行 只要你有足够的计算资源的话，spark的强大之处在于处理tb或是pb的数据，也就是单机处理不了的数据

pyspark的本质是local运算的 我不太清楚你说的矩阵并行是自己写的 还是调用python现成的 自己写的话应该不会有问题 调用现成的有问题 因为会在每个节点上本地上运行 并没有并行

主流数据处理工具 现在数据处理标配 如果不会这个就和现在支付不用手机一样尴尬

Hadoop2.7以后就行了

什么场景？处理什么样的数据？

来个demo为：
给定迭代初始值 (0, 0)。 元组 第一个记录分数，第二个记录数据条数
输入的数据，获取分数，累加到迭代值元组的第一个元素中，迭代值元组的第二个值记录条数加1 。
每一个分区迭代完毕后，各分区的迭代值合并成最终的迭代值
对最终的迭代处理，获取最终的输出结果。
所以说API说是合并累加器，就是要组内先合并在累加

写个python脚本处理一下吧 读取每个文件名和文件内容 这个用正则可能比较费劲，确实应该考虑换一个思路，当然不是正则实现不了 如果时间比较紧就换个思路把

每天都在做etl， 工作强度看不同项目进度把 不会一直忙 但是一个月至少有80%的时间是在忙的

不同任务 不同资源 时间不一样

会啊 看你怎么配置了
数据传输的事务定义通常有以下三种级别：
最多一次: 消息不会被重复发送，最多被传输一次，但也有可能一次不传输。
最少一次: 消息不会被漏发送，最少被传输一次，但也有可能被重复传输.
精确的一次（Exactly once）: 不会漏传输也不会重复传输,每个消息都传输被一次而且仅仅被传输一次，这是大家所期望的。
kafka的
“精确一次”是这么做的，可以通过将提交分为两个阶段来解决：保存了offset后提交一次，消息处理成功之后再提交一次。但是还有个更简单的做法：将消息的offset和消息被处理后的结果保存在一起。比如用Hadoop ETL处理消息时，将处理后的结果和offset同时保存在HDFS中，这样就能保证消息和offser同时被处理了。

把具体问题贴出来

把错误截图全一些 后面大段的错误看不见