主题：狐表能实现通过网址分析出网站对应的内容并且筛选出内容重复的网址吗？

比如我有一系列的网址：http://www.ccjida.com  http://www.zzwzkj.com/  http://chengguang1818.cntrades.com/  http://lytljk.cn.china.cn/  。。。等等，然后我想让狐表通过上面这些网址分析出网址所对应的内容是否重复。能实现吗？如果能实现的话请问我该如何操作？  问题比较棘手，望尽早得知答案，谢谢您！18943962965这是我的联系方式  也可以电话沟通。谢谢了！

我要实现的不是单纯排除重复的网址，是要排除这个网址对应的内容中是否有重复的。比如说http://cc.58.com/zpshengchankaifa/12217636523397x.shtml   http://cc.ganji.com/zpjigongyibangongren/415259002x.htm这个网址下面对应的内容就是重复的，我就是想把这样的网址筛选出来，能实现吗？

能留个联系方式吗？我们可以电话沟通一下，我这个问题挺棘手的，已经在网上找过很多这方面的资料了，一直都没解决。我要实现的就是通过某种方式在网上获取的一批网址，但是这些网址中有的是相同的内容，我就是想实现将内容相同的网址去重。我这个意思您能明白吗？18943962965如何不明白可以和我电话联系，或者QQ2352805215  谢谢啦