Eclipse + scala 报错 missing or invalid dependency detected while loading class file 'XXX.class'...

问答 shengda ⋅ 于 2017-03-18 09:37:17 ⋅ 最后回复由 shengda 2017-03-18 10:04:21 ⋅ 6263 阅读

近两天学习spark,根据官网文档http://spark.apache.org/docs/2.1.0/quick-start.html 做Self-contains App的实验时需要加载spark-core_2.11-2.1.0.jar, 因为maven的插件m2eclipse-scala(见scala ide官网http://scala-ide.org/docs/current-user-doc/gettingstarted/index.html )没下载下来,所以工程是建的scala工程,目录结构如下,这样好像不能通过pom.xml来配置(如果可以的话,知道的前辈麻烦留言指点一二
file

于是如截图中,自己建了一个lib目录,把需要的jar文件拷贝了进来并添加到builpath中,编译没毛病;问题是不知道什么时候出现的,我做了几次buil path之类的设置好像,就出现问题了,见图,提示error:missing or invalid dependency detected while loading class file 'XXX.class'...
file
检查了添加进来的jar包,是包含提示里的类RDD.class的,好像是没问题;后来没办法,重新新建一个scala project,还按原来的方法加载了spark-core_2.11-2.1.0.jar,编译也是没问题;所以这里有两个疑问:

  1. 像类似这样的问题一般往哪个方向去考虑,大概是如何引起的?
  2. 提示missing or invalid dependency ....,那这个dependency我是否可以在哪里修改?
    望熟悉的前辈指点一二。。。
回复数量: 1
  • shengda 奔跑的多多
    2017-03-18 10:04:21

    进一步实验发现跟设置没有关系,就是spark库有点问题,比如这几行代码注释掉是没有错误的:
    file

暂无评论~~
  • 请注意单词拼写,以及中英文排版,参考此页
  • 支持 Markdown 格式, **粗体**、~~删除线~~、`单行代码`, 更多语法请见这里 Markdown 语法
  • 支持表情,可用Emoji的自动补全, 在输入的时候只需要 ":" 就可以自动提示了 :metal: :point_right: 表情列表 :star: :sparkles:
  • 上传图片, 支持拖拽和剪切板黏贴上传, 格式限制 - jpg, png, gif,教程
  • 发布框支持本地存储功能,会在内容变更时保存,「提交」按钮点击时清空
Ctrl+Enter