我们爬取回来的网页不同的网站肯定会有重复的新闻 ，想在存入数据库之前做一个去重判断在存入数据库 。
我在网上看到说
I-Match算法有一个基本的假设说：不经常出现的词和经常出现的词不会影响文档的语义，所以这些词是可以去掉的。
算法的基本思想是：将文档中有语义的单词用hash的办法表示成一个数字，数字的相似性既能表达文档的相似性
算法的框架是：
- 获取文档（或者是主体内容）
- 将文档分解成token流，移除格式化的标签
- 使用term的阈值（idf），保留有意义的tokens
- 插入tokens到升序排列的排序树中
- 计算tokens的SHA1
- 将元组（doc_id,SHA hash) 插入到某一词典中，如果词典有冲突，这两个文档相似。
按照这个算算法所说我应该用什么样的数据库存历史数据，或者用什么方法将抽取后的正文与库中数据比较去重？？？
