spark 使用的是 local 模式，在临时桌面上内存不足，请问应该如何修改？

问答 ⋅ NEMOlv ⋅ 于 2024-02-26 23:49:25 ⋅ 最后回复由 青牛 于 2024-02-27 01:12:30 ⋅ 747 阅读

file
Spark RDD 编程中的电影表练习，spark使用的是local模式，在临时桌面上内存不足，请问应该如何修改，使得该任务成功运行。
以下是电影表练习需求

需求 存在这样一个表 movies电影表 movie_id movie_name movie_types 存在一个评分表 user_id movie_id score timestamp 腾讯视频或者是爱奇艺 看过这个电影的人喜欢什么 问题1 每个用户最喜欢哪个类型的电影[按照观看量] 问题2 每个类型中评分最高的前三个电影[平均分] 问题3 给每个用户推荐最喜欢的类型的前三个电影

点赞
成为第一个点赞的人吧 :bowtie:
回复数量: 9
  • 青牛
    青牛 海汼部落创始人，80后程序员一枚，曾就职于金山，喜欢倒腾技术做产品
    ⋅ 2024-02-26 23:52:26

    不在要临时桌面写代码，那个内存是固定的，你可以自己选择java组件然后修改内存去写代码

    file

  • NEMOlv
    NEMOlv
    ⋅ 2024-02-27 00:02:32

    @青牛 我把local模式换成spark集群就可以运行了(我发现RDD编程部分的教程都是用local模式讲的，没有设置过集群模式)。
    另外就是，在B站上看教程任务运行的很快，是因为B站演示用的临时桌面性能高吗？电影表练习的rating.txt大概有10万条原始记录，这个量级感觉不是很大，为什么算的这么慢呀

  • 青牛
    青牛 海汼部落创始人，80后程序员一枚，曾就职于金山，喜欢倒腾技术做产品
    ⋅ 2024-02-27 00:04:46

    @NEMOlv 之前的临时桌面配置高，后来上线正式桌面了，那个配置就降低了

  • NEMOlv
    NEMOlv
    ⋅ 2024-02-27 00:07:07

    @青牛 正式桌面的配置和之前临时桌面的配置一样吗？如果一样的话，我能不能直接使用正式桌面来学习spark的RDD编程，在集群上运行电影表这个任务很慢。

  • 青牛
    青牛 海汼部落创始人，80后程序员一枚，曾就职于金山，喜欢倒腾技术做产品
    ⋅ 2024-02-27 00:08:20

    @NEMOlv 可以的，正式桌面自己配置内存和CPU就好了，还支持生成镜像保存你写的代码

  • NEMOlv
    NEMOlv
    ⋅ 2024-02-27 00:09:46

    @青牛

    file如图所示集群运行的很慢，10分钟都没有出结果。正式桌面要达到视频中的速度需要多少CPU+多少内存呀

  • 青牛
    青牛 海汼部落创始人，80后程序员一枚，曾就职于金山，喜欢倒腾技术做产品
    ⋅ 2024-02-27 00:13:09

    12核 16G

  • NEMOlv
    NEMOlv
    ⋅ 2024-02-27 00:21:49

    @青牛

    file

    file

    正式桌面的网络好像不太行，scala组件一直无法搜索出来

  • 青牛
    青牛 海汼部落创始人，80后程序员一枚，曾就职于金山，喜欢倒腾技术做产品
    ⋅ 2024-02-27 01:12:30

    @NEMOlv 我这个可以呀，你再试试

    file

暂无评论~~
  • 请注意单词拼写，以及中英文排版，参考此页
  • 支持 Markdown 格式, **粗体**、~~删除线~~、`单行代码`, 更多语法请见这里 Markdown 语法
  • 支持表情，可用Emoji的自动补全, 在输入的时候只需要 ":" 就可以自动提示了 :metal: :point_right: 表情列表 :star: :sparkles:
  • 上传图片, 支持拖拽和剪切板黏贴上传, 格式限制 - jpg, png, gif，教程
  • 发布框支持本地存储功能，会在内容变更时保存，「提交」按钮点击时清空
Ctrl+Enter
新 建 话 题

作者：NEMOlv

NEMOlv 的其他话题

分类下其他主题

随机推荐话题

QQ群1：551936262 海汼部落QQ群1

关注海汼部落技术社区