通过这种努力,搜索引擎可找到和索引更多的网页,使搜索结果更为全面。负责谷歌反垃圾信息努力的工程师马特·库茨(Matt Cutts)表示,网上存在很多混乱的情况,有了这么一个标准,出版者将能清理大量的垃圾内容。
问题是:很多网络出版者特别是那些有很多分站的如电子商务公司,常常是很多URL指向同一页面。这让搜索引擎无法鉴别,有时会多次索引同一页面。据估计,网上有多达20%的URL是指向相同的页面。
谷歌的工程师为网络出版者提供了一个简便的方法,当一个URL的内容存在重复,网络出版者可选一个为首要或“权威”的URL,用于搜索引擎的索引。雅虎和微软都同意支持这个同一性标准。
微软一位重要的项目经理纳森·布基亚(Nathan Buggia)表示,很高兴每个人都支持同样的标准,这肯定会给出版者到来好处,因为它使网络出版者有机会通过搜索引擎得到更多的曝光次数。
所有搜索引擎都开发了可甄别重复页面、或多或少都有效的技术。不过这种被称为权威链接标签(Canonical Link Tag)的标准,可使搜索引擎和出版者更容易解决此问题。雅虎网络搜索的产品管理主管普里扬科·加尔各(Priyank Garg)表示,这是重要的一步,因为所有的搜索引擎都将采用它。