做SEO的难点之一是，搜索算法不断更新，本来我们就很难知道算法细节，再加上几乎每天都有变化，就使得SEO不仅像是瞄准移动的目标，有时候简直就是看不见目标。所以有几个公司经常大规模统计关键词排名与页面特征，试图找到其中的联系，在一定程度上反向工程搜索算法。谷歌标榜的虽然演过其实，但对比X度的一切向前看，确实显得良心不少。
- 谷歌搜索算法
编辑
谷歌算法始于PageRank，这是1997年拉里·佩奇(Larry Page)在斯坦福大学读博士学位时开发的。佩奇的创新性想法是：把整个互联网复制到本地数据库，然后对网页上所有的链接进行分析。基于入链接的数量和重要性、及锚文本对网页的受欢迎程度进行评级，也就是通过网络的集体智慧确定哪些网站最有用。随着谷歌迅速成为互联网上最成功的搜索引擎，佩奇和谷歌的另一名创始人塞吉·布林(Sergey Brin)将PageRank这一简单概念看做谷歌的最根本创新。PageRank具有其优势，为带来高质量的搜索结果做出了贡献。但这种过度依靠外链分析单一算法也具有弊端，那就是很多站长采取作弊手法来增加网站的外链，因此网络上有很多垃圾外链。为了应对这种情况谷歌13年更新了其核心算法，那就是蜂鸟算法（Hummmingbird)。在此套算法中，PageRank仍旧起很大作用，但是已经不是唯一的排名机制！随着时间的推移，外链在排名中所起的作用将逐渐衰落！
算法简介
编辑
谷歌搜索算法
这是一个很普通的搜索，谷歌每天要处理成千上万的这种搜索。但事实上这一搜索过程十分复杂，可能使一些搜索引擎误解。如果把这些单词输入到必应，第一个结果是美国国家橄榄球联盟的历年球员名单，其中有一个名叫Lawyer Milloy。搜索结果中的下面几页，也没有与律师Siwek相关的内容。
这一对比显示出谷歌算法的强大，甚至可以说是智能，而这是通过反复的修正实现的。看起来谷歌拥有解读用户需求的神奇力量——不论是多么生僻的搜索，或是有拼写错误。谷歌将这种能力称为搜索质量，并且多年来一直竭力完善算法，以产生精确的搜索结果。
2013年9月27日，谷歌公布已推出“蜂鸟”(Hummingbird)算法，彻底革新代替旧版搜索算法，以应对来自网络用户更长、更复杂的查询。[1-2]
算法创始
编辑
但这并不是故事的全部。人们信赖PageRank是因为它是可以进行确认的，但要提供最有用的结果还需要其他技术。这涉及对某些信号、上下文的利用，这样对于任何查询，搜索引擎都能将最有用的结果排在最前面。
背景知识
编辑
网络搜索是一个多方过程。首先，谷歌机器人获取每个可访问网站的内容。这些数据将被分解成一个索引(通过文字进行组织，就像书本的目录)，这样就可以根据内容找到任何页面。每当用户键入一个查询，谷歌就会在索引中搜寻相关页面，然后返回一个包含多达数百万页面的列表。最复杂的是对列表进行排序，也就是决定哪些页面应该出现在最上面。
此时，上下文便有了用武之地。所有搜索引擎都会引入上下文，但没有一个像谷歌那样引入得那样多、应用那样自如。PageRank本身也是一个信号，同时也是页面的一个属性(指其相对于其他网页的重要性)，该属性可以帮助确定其与查询内容的相关性，其中的一些信号在现在看来是显而易见的。
优化搜索
编辑
一直以来，谷歌算法都对页面的标题给与特别的关注，因此标题成为确定相关性的重要信号。另一个重要技术是锚文本，指的是超链接中的可见文本。因此， “当你进行搜索时，搜索引擎总能给出正确的页面，即使该页面中没有你找的关键词。”这是谷歌早期架构师斯科特·哈桑(Scott Hassa)的观点，他曾与佩奇和布林一起在斯坦福工作。之后，搜索引擎关注的信号还包括新鲜度(对于一些查询，新近的页面比较早的页面更有价值)和地理位置(谷歌知道搜索者的大致地理坐标，会将本地信息排在前面)等。谷歌目前使用200多种信号来帮助确定搜索结果的排序。
谷歌工程师发现，一些最重要的信号可能来自谷歌本身。PageRank将受欢迎程度植入了搜索引擎：成千上万的网站民主地决定将链接指向哪些网站。但辛格表示，谷歌工程师还利用了另一种民主 ——成千上万使用谷歌搜索的用户。用户在搜索过程中产生的数据被证明同样很有价值，这些数据包括他们点击哪些结果、不满意时对关键词的更改、查询关键词与所处地理位置的关系等。这一过程的最直接例子就是谷歌所说的“个性化搜索”——这是一个可选功能，利用用户的搜索历史和地理位置来确定他想要找的内容(使用这项功能需要先登录谷歌账号)。更通常的方法是，谷歌利用其收集的大量数据支持其算法，谷歌对此有极深的理解，可以解读隐秘查询的复杂意图。
SEMrush排名因素2.0
SEMrush的结果基于60万关键词的首100位结果，统计了页面因素、外链和流量数据，得到一些有参考价值的发现：
网站安全（https的使用）
高查询量的关键词前3位，65%使用了https。虽然https不是很大的排名因素，不过是大势所趋，还是尽快把网站转为https比较好。
内容长度
无论关键词查询数量大小，通常内容长度与排名是正相关的，前3位结果页面内容长度平均比第30位长了45%。长尾关键词排名好的页面比头部关键词长了20%。
以前还看到过统计数字，Google前10位结果的平均长度是2000个单词，这比我当年开始做网站时流行的400-600单词长多了。
关键词
几个有趣的发现：
高查询量关键词，排在前面的页面有35%页面标题中没有包含关键词。这说明Google算法对于理解上下文和搜索意图有了很大进步，或者标题标签包含关键词已经不再是重要的排名因素，也可能两者都是原因。
链接锚文字很少包含关键词，即使高查询量的关键词，排前面的页面也只有8%的链接包含关键词。可能链接锚文字没那么重要了，也可能大家建设外链没那么刻意了。
网站流量
SEMrush研究了网站流量对排名的影响，发现访问用户数对高查询量的关键词是很重要的因素，低查询量的词影响不大。而且，搜索流量对排名貌似没影响，但直接流量对排名是有影响的。
用户信号
跳出率：前3位跳出率比较低，往下跳出率升高。这个中国的SEO们肯定都很熟悉了。
访问深度（每次访问页面数）：也与排名正相关。
前几个月就写过用户体验影响搜索排名的统计和我自己的实验，不过用户体验信号是否是直接的排名因素一直有争议，通常认为不是，但至少会间接影响排名。
链接
高质量外链还是超级重要的，包括外链总域名数和follow的链接数。第一位结果的外链总域名数平均比第10位多一倍，follow的链接也类似。
最重要的因素
SEMrush的发现是，用户信号和网站直接流量与排名是最相关的。但正像以前帖子重复很多遍的，相关性不一定意味着因果性。
通用排名因素已经过时
Searchmetrics这次研究的是通用排名因素（适用于各领域网站的排名因素）和各个行业／利基市场的排名因素趋势。有些排名因素是通用的，对各行业都一样，有些特定行业或利基领域，某些排名因素的权重会有些不同。
通用因素
页面打开速度。2016年排前10位的页面平均打开时间是7.8秒，2020年缩短到3.8秒。
和SEMrush一样，Searchmetrics也发现标题中包含关键词没那么重要了。现在排第一的页面只有48%包含关键词，2016年这个比例是55%，2015年时是75%。
排名好的页面总字数在增长中，排前10的页面总字数是1900单词，2018年是1600词，2015年是1300个词。也和SEMrush结论一样。
只适用于特定行业的排名趋势
Searchmetrics发现有些排名因素的权重随着查询词本身的不同而不同，所以他们研究了不同行业的排名因素，包括电商、金融、健康、媒体和旅游，看看这些行业的排名因素与平均水平有什么区别，得到一些发现。
比如，https对金融行业更重要，这个行业安全、信任更重要，而对旅游行业就没那么重要。图片使用，对金融网站没那么重要，对旅游网站就影响更大，排前10位的旅游网站页面平均使用2.15张图片，金融网站只用了0.92张。旅游网站排前10的页面总字数2700，金融网站1800词，嗯，游记、旅游攻略一般都挺长。
只适用于特定利基市场的排名趋势
研究了约会网站、SEO服务和菜谱网站，有类似的现象，不同利基市场网站排名因素权重不同。比如，https的使用对SEO网站重要，68%的SEO网站用了https，对约会或菜谱网站没那么重要。结构化数据和schema.org标签对菜谱网站很重要。
不同行业、市场网站的排名因素权重差别还挺大的，所以不能宽泛地考虑优化重点，要看是什么行业和用户需要什么。比如，健康相关网站排前面的页面很多使用了视频，卖家具的就几乎没有，但卖家具的大量使用图片。
如何应对？
对我来说，重点是怎样排查出问题，知道问题所在，怎样处理不是明摆着的吗？比如，网站被黑了，重要的是怎样知道被黑了，被黑的原因大致是什么，表面上看不出被黑了又该查些什么，至于怎样处理，那还用说吗？清理代码、打补丁啊。
再比如，统计显示https重要，怎样应对？网站换https啊。页面打开速度重要，怎样应对？提高页面打开速度啊。
有人也许又会质疑，人家问的就是怎样清理代码？怎样换https？怎样提高页面打开速度？这恐怕不是同一篇帖子都能讲到的了，你得看其它帖子、文章，甚至整本书。清理代码得涉及网站安全，这得写几本书。怎样换https得涉及服务器设置、证书安装、网址转向、URL批量修改等等。提高页面打开速度，你写要压缩图片，可能又有人问具体怎样压缩图片啊？这样问下去是没完没了的。
所以，一篇帖子只能讲一个问题。里面又会牵扯到更多问题，也许顺着链接能找到答案，这就是超链接之所以被发明出来的原因。
这些最新的SEO排名因素，不少是和人工智能的应用有关系的。
三年前，Googled的AlphaGo横空出世时，我写了《AlphaGo、深度学习及SEO》这篇帖子，在那之后，我一直非常关注人工智能与搜索算法的进展。
我不知道搜索算法什么时候会大规模以AI为基础，也不知道目前AI技术在搜索算法中应用到了什么程度。由于目前人工智能技术的不可解释性，搜索引擎以AI作为算法基础会是非常谨慎的，不然很不容易debug。
不过算法中的一些模块应用AI是肯定的，以前介绍过百度的DNN模型和Google的RankBrain算法，都是AI在搜索算法中的应用。
那么完全以人工智能为基础的搜索算法是什么样的？工作原理和流程是什么？简单说一下我的理解。
人工智能的优势与搜索
目前实现人工智能的主流方法是机器学习中的深度学习分支，在这篇帖子里就不加严格区分了。
简单说，人工智能是给予系统大量训练数据，人工智能自己从中寻找模式和规律。给予AI系统的数据是打了标签的，或者说是告诉了AI系统结果。比如，在围棋中，AI系统有了大量历史棋局数据（后来的Alpha连历史棋局都不需要了，自我对局的数据就行了），以及这些棋局的输赢结果，这个结果就是标签。然后AI系统自我学习棋局盘面与结果（输赢）之间的关系。
在搜索中，AI系统有了页面的大量数据，也就是搜索引擎本身的索引库，还需要标签，也就是要知道哪些页面是高质量的？针对一个查询词，哪些搜索结果是用户满意的？然后AI算法自己学习页面特征（也就是排名因素）和排名之间的关系。
传统的搜索算法是搜索工程师人工选择排名因素，人工给予排名因素一定的权重，根据给定公式，计算出排名。这种方法的弊端是，当数据量大了，排名因素多了的时候，调整排名因素的权重是件很困难的事。最初的权重很可能就是根据常识，再加上拍脑袋，具有很大的主观随意性。当有几百个因素，这些因素又互相影响时，调整这些因素的权重就变成混乱、无法预见结果的事了。
而从海量数据中找模式正是AI的擅长。AI可以快速寻找可能的排名因素，调整排名因素权重，自动迭代计算，拟合出排名因素和用户满意的搜索结果之间的计算公式。
通过训练数据训练出来的计算公式就是AI搜索算法，可以应用于用户更多的搜索了。
谁来打标签？
既然训练AI搜索算法时需要打了标签的数据，那么这些标签数据是从哪来的？这就是搜索引擎质量评估员的作用了。
前不久Google质量评估指南帖子里详细介绍了质量评估员的工作。这些真实用户（他们不是Google员工），在学习质量评估指南后，Google在评估系统中给评估员真实网站、真实查询词数据，评估员进行相关评估，最主要的就是：
给页面质量打分
给特定查询词的搜索结果打分
Google的质量评估员很早就存在了，应该不是为了开发AI算法招募的，而是用来评估传统算法质量的。但他们的评估数据刚好可以被人工智能系统有效使用。
这样，AI系统就知道，针对某个查询词，用户满意的搜索结果是哪些页面，是按什么顺序排名的。
现在，AI系统有了海量页面特征数据，也知道什么样的搜索结果是真实用户满意的，下一步就是训练系统，寻找页面特征和搜索排名之间的关系。
训练人工智能搜索算法
搜索引擎可以把打了标签的搜索结果数据分成两组。一组训练用，一组验证用。
AI算法检查训练组搜索结果中的页面有哪些特征，这些特征又应该给予什么样的权重，根据什么样的计算公式，才能计算出用户满意的（打过标签的）搜索结果。
与传统算法不同的是，需要哪些特征（排名因素），这些特征给予多少权重，不是工程师决定的，是AI系统自己寻找和评估的。这些因素也许是工程师想得到、早就在用的，比如：
页面的关键词密度
页面内容长度
页面上有没有广告
页面有多少外部链接
页面有多少内部链接
页面有多少以查询词为锚文字的链接
页面所在域名有多少外链
页面打开速度多快
等等等等，可能有几百上千个
也许是工程师压根儿没想过的，也许有些是表面上看起来毫无关系、毫无道理的，比如：
页面正文用的几号字
文章作者名字是三个字
页面第一次被抓取是星期几
页面外链数是单数偶数
以上只是举例，为了说明，AI寻找的不是因果关系，而是相关关系。只要AI看到排名好的页面有哪些特征就够了，至于把这些特征与排名联系起来是不是看着有道理，并不是AI关心的，也是不必要关心的。
当然，有些因素可能是负面的，比如域名长度，很可能与高排名是负相关的。
AI系统被训练的过程就是找到这些排名因素（无论人类看着是否有道理），给予这些因素一定权重，拟合出一个计算公式，刚好能排出用户满意的那个搜索结果。这个拟合过程应该是迭代的，一个权重数值、一个公式不行，自动调整，再次计算，直到比较完美拟合出评估员打过标签的搜索结果。这个训练过程也许要几天，也许几个星期，要看数据量。
AI搜索算法验证
被训练过的AI搜索算法就可以应用于其它没在训练数据里的查询词了。
首先用前面提到的验证组数据验证一下，如果新训练出来的算法给出的搜索结果与验证组数据（同样是评估员打过标签的）吻合，说明算法不错，可以上线了。如果AI算法给出的搜索结果与验证组搜索结果里的页面不同，或者页面基本相同但排序差别很大，可能就要重新训练AI系统了。
当然，要做到所有查询词，AI算法给出的搜索结果与评估员打过最满意标签的搜索结果完全一样，是不大可能的。估计只要排在前面，比如前20名的页面顺序差异在一定的容错范围内就可以了。排在越前面，需要越低的容错率，比如排在第一第二的页面不对，比排在第三页之后的页面不对严重多了。
验证过的算法就可以上线，接受真实用户的检验了。这里很可能牵扯到一个SEO们普遍认为与排名有关、但搜索引擎一直否认的排名因素：用户体验数据是否是排名因素？
很多SEO排名因素统计表明，页面点击率、跳出率、用户停留时间、访问深度与排名有很高的相关性，但Google一直明确否认这些数据是排名因素。当然，对百度来说，点击率显然是排名因素。
原因很可能就是，搜索引擎需要用这些用户体验数据验证搜索算法质量，如果用户普遍点击率降低、跳出率提高，说明新上线的算法有问题，需要调整。虽然搜索引擎没有直接使用用户数据来排名，但算法的目标就是提高用户数据，使得这两者之间高度相关。
新的AI算法上线后，搜索引擎监控的用户数据说明用户满意，算法就成功了，等待下一轮的优化。
以上猜测很可能成为未来的现实，让我们拭目以待。
谷歌SEO自然排名是铿努科技的核心业务，自然排名才能持久和可持续发展。我们并不建议客户花大钱做广告，只有在必须尽快上首页的场合才做。铿努客户 专业SEO服务，纯白帽，安全可靠。我们SEO服务全部由印度员工操刀，效果国内领先。每月出优化报告，客户满意后续费，以效果说话。收费透明，官网www.kengnu.com、淘宝官方网店、微信公众号联系我们：
