现阶段正在着手在spark上运行word2vec训练词向量，但是没有发现分布式训练词向量的优势何在，numPartition设为1时，训练时长与单机比优势不明显，调高numPartition训练质量又会下降很多。有点怀疑是不是这种迭代调节参数的算法并不适合在spark上运行？还是我打开的方式不对？希望各位有经验的老手不吝指教！
作者：十年
十年 的其他话题
- hadoop streaming,但是当-file 指定路径的 mapper.py,就报错?是什么原因？
- HDFS 源码阅读时，文件类的疑问？
- 为什么 MapReduce 中 context.write () 有时候不执行或者没有数据？
- hive 里面两种 sql 写法的区别?
- 大数据工程师的日常工作内容是干嘛？
- 求 spark 大神帮忙看下，用 scala 操作 dataframe 转 rdd 的时候，row 对象的取值问题？
- python pivot_table 后，如何计算某一列长度？
- Eclipse Console，Linux 控制台和 Windows cmd 的输出原理有什么区别？描述详见说明
分类下其他主题
关注海汼部落
