近两天学习spark,根据官网文档http://spark.apache.org/docs/2.1.0/quick-start.html 做Self-contains App的实验时需要加载spark-core_2.11-2.1.0.jar, 因为maven的插件m2eclipse-scala(见scala ide官网http://scala-ide.org/docs/current-user-doc/gettingstarted/index.html )没下载下来,所以工程是建的scala工程,目录结构如下,这样好像不能通过pom.xml来配置(如果可以的话,知道的前辈麻烦留言指点一二)
于是如截图中,自己建了一个lib目录,把需要的jar文件拷贝了进来并添加到builpath中,编译没毛病;问题是不知道什么时候出现的,我做了几次buil path之类的设置好像,就出现问题了,见图,提示error:missing or invalid dependency detected while loading class file 'XXX.class'...
检查了添加进来的jar包,是包含提示里的类RDD.class的,好像是没问题;后来没办法,重新新建一个scala project,还按原来的方法加载了spark-core_2.11-2.1.0.jar,编译也是没问题;所以这里有两个疑问:
- 像类似这样的问题一般往哪个方向去考虑,大概是如何引起的?
- 提示missing or invalid dependency ....,那这个dependency我是否可以在哪里修改?
望熟悉的前辈指点一二。。。