关于分区什么时候进行的问题
分区是在maptask 到reduceTask的时候进行分区，还是说在sc.textFile就开始分区了呢
我测试了一下，sc.textFile分区后我把每个分区的内容打印出来发现不是hash算法分区，但是当我经过了shuffle算子之后再打印各个分区的内容就是按照hash算法分区
所以很疑惑，如果是sc.textFile就开始分区，那么假设3个block块，我在sc.textFile就指定5个分区，那就得将3个b'lo'c'k块分成5个分区，那会很占用内存和网络资源（map取各个b'lo'c'k块中的某一个分区），感觉有点不太合理啊，然后再经过shuffle算子，再次分区，感觉很慢啊;
我在想是不是一开始sc.textFile在读取hdfs的数据时，按照平均的方式给每个一分区数据(例如：3个block块共384MB，5个分区就是各76.8Mb，每个map读取这76.bMB数据)，然后在经过shuffle算子的时候才开始按照hash算法分区，生成文件，再由reduce取各个节点的分区值，这样也能说的通，最后五个part-0000文件，shuffle过程的桶也是5*5=25
