随着网络技术和信息技术的飞速发展，网络已经成为人们获取信息的一个重要途径。现有的搜索引擎面临的最大一个问题就是返回的结果集中包含大量重复的信息。如何更有效地帮助用户获取所需要的信息，能够快速、准确地为用户提供信息，是网络信息服务面临的新课题。优化搜索结果可以采用多种手段，如通过提取网页的特征进行基于内容的信息检索，利用用户反馈的信息进一步精确检索结果，将结果集中的重复信息尽可能地消除等。
由于网络信息分布的特点，网站上的信息存在相互转载及镜像站点等情况。出现相同网页主要有以下几种情形：网页的URL完全相同；网页的URL形式不同，但网站域名所对应的IP是相同的；URL虽然不同，但网页内容完全相同；URL不同，为不同的网页形式，但网页上主要内容是相同的。本文主要讨论对于网页内容重复性的消除。