搜索引擎索引系统概述一

网站推广评论86

众所周知,搜索引擎的主要工作过程包括:抓取、存储、页面分析、索引、检索等几个主要过程。过去几周给大家介绍了抓取相关的简要过程。今天简要介绍一下索引系统,以亿为单位的网页库中查找特定的某些关键词犹如大海里面捞针,也许一定的时间内可以完成查找,但是用户等不起,从用户体验角度我们必须在毫秒级别给予用户满意的结果,否则用户只能流失。怎样才能达到这种要求呢?

如果能知道用户查找的关键词(query切词后)都出现在哪些页面中,那么用户检索的处理过程即可以想象为包含了query中切词后不同部分的页面集合求交的过程,而检索即变成了页面名称之间的比较、求交。这样,在毫秒内以亿为单位的检索成为了可能。这就是通常所说的倒排索引及求交检索的过程。如下为建立倒排索引的基本过程:

(1)页面分析的过程实际上是将原始页面的不同部分进行识别并标记,例如:titlekeywordscontentlinkanchor、评论、其他非重要区域等等;

(2)分词的过程实际上包括了切词分词同义词转换同义词替换等等,以对某页面title分词为例,得到的将是这样的数据:term文本、termid、词类、词性等等;

(3)之前的准备工作完成后,接下来即是建立倒排索引,形成{termàdoc},可以粗略的理解为如下,为什么是【term->doc,而不是直接应用【doc->term】呢?

上述即是索引系统中的倒排索引过程,是搜索引擎实现毫秒级检索非常重要的一个环节。

 
网站推广

网站运营:淘宝客站长推广技巧

(1)、SEO(搜索引擎优化)简单来说,搜索引擎优化,就是通过修改和添加一些热门关键字或词来促使搜索引擎在检索信息的时候最先检索到你的词汇,然后使你的排名更加靠前,得到更靠前的宝贝展示机会。包括一些图...
如何增加文章的原创度 网站推广

如何增加文章的原创度

大家都知道,搜索引擎蜘蛛喜欢新鲜的内容,喜欢原创文章,喜欢互联网上没出现过的东西,我们在优化自己的站的时候,进行的内容填充,基本上也是希望可以做到尽可能的原创,即二次加工以后的伪原创,其实伪原创也是一...
网络营销易陷入的误区及营销网站推广方法 网站推广

网络营销易陷入的误区及营销网站推广方法

误区一:网络营销噱头太严重,企业以制作精美的网站,以及网站流量为绩效,虽然面子工程很到位,但是产生不了任何实际效益。 误区二:网络营销目标不明确,企业打着网络营销的旗号,以提升品牌知名度,提高关键词排...
匿名

发表评论

匿名网友
:?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen: