您所在的位置:首页 > SEO知识 >关键词布局策略分享,TF-IDF和BM25计算方法及意义!

关键词布局策略分享,TF-IDF和BM25计算方法及意义!

strawSEO头像
创始人 稻草SEO
2019/11/23 15:12:13 阅读 3

  关键词布局策略分享:解决网页 "塞什么词" 以及 "塞多少" 的问题,进一步解决,网页相似性的问题

  1.TF-IDF计算

  TF = 某个词在文档中出现的次数 / 文档的长度

  关键词: "黑户口子"

  目标页:http://www.pcben.com/news/gonglue/11835.html

  >>> 词项:['黑户', '口子']

  >>> 文档字数:2104

  >>> [黑户] 出现次数:19

  >>> [口子] 出现次数:49

  TF(黑户) = 19/2014 = 0.009

  TF(口子) = 49/2104 = 0.023

  IDF = log( 搜索引擎文档总数 / 出现某个词的文档总数 )

  PS:log以2为底

  搜索引擎文档总数:100000000

  [黑户]文档总数:21400000

  [口子]文档总数:36500000

  IDF(黑户) = log(100000000/21400000) = 2.22

  IDF(口子) = log(100000000/36500000) = 1.45

  [黑户]的重要性是[口子]的1.5倍

  >>> 网页多出现[黑户],可以提高与[黑户口子]的相关性

  TF-IDF(黑户口子) = TF(黑户)*IDF(黑户) + TF(口子)*IDF(口子) = 0.009×2.22 + 0.023×1.45 = 0.05

  2.TF-IDF的意义

  网页不见得内容越多越好。若布局不当,内容越多反而会稀释TF(keyword)的分值,从而降低这个词与这个网页的相关性

  IDF本质是一个词项的权重,降低文档中高频关键词的权重。所以网页中,玩命塞完整的关键词不见得好,但要多塞这个关键词中IDF最高的词项

  Case:[北京百度区块链工程师工资]的网页,若添加内链模块,以下哪个规则,对提升相关性,可能效果最好?

  词项:北京、百度、区块链、工程师、工资

  A. 调用北京地区,10个随机职位的工资链接(降低相似性,甚至降低排名)

  B. 调用北京地区,30个百度职位的工资链接(比A严重,降低相似性,降低排名)

  C. 调用北京地区,10个区块链工程师的工资链接(get)

  D. 调用北京地区,20个区块链工程师的招聘链接(get)

  3.BM25计算

  TF-IDF存在明显漏洞,因为SEO可以通过 [缩减页面内容量] 和 [堆砌IDF高的词项] 来拉高关键词与网页的相关性

  因此现在采用的都是BM25算法,在TF-IDF基础上,添加了3个参数:

  常量K:用来限制TF值的增长极限,TF值永远在 [0 ~ K+1] 之间

  参数L:文档长度与平均长度的比值,如果文档长度是平均长度的2倍,则L=2

  常数b:用来规定L对评分的影响有多大

  Elasticsearch里,K默认1.2,b默认0.75

  $\text{公式} = 权重(IDF)×相关性 = \sum_{i=1}^n\text{IDF}(keyword)\cdot\left[\frac{TF(keyword)\cdot\left(k+1\right)}{TF(keyword) + k\cdot\left(1-b+b\cdot\frac{当前文档的字数}{整个文档库的平均字数}\right)}\right]$

  4.BM25的意义

  增加了文档长度对相关性的影响。文档越短,相关性会比用TF计算的值更低,减少通过 [缩减页面内容量] 对相关性计算的干扰

  增加了对TF极限值的限制,减少通过 [堆砌IDF高的词项] 对相关性计算的影响

  只是影响而已,[缩减页面内容量] 和 [堆砌IDF高的词项] 还是有用的,注意尺度

  <font color=red size=5> BM25同样作用于title </font>


预约深圳SEO顾问添加微信号:xm18331078363 免费SEO诊断!
© 著作权归深圳稻草SEO所有
strawSEO简介
深圳稻草SEO 博主
SEO实战派细节控,擅长用算法解决关键词排名问题,SEO营销运营一体化!
一颗稻草:可以救人性命,亦能压死骆驼!思路决定出路,做SEO亦是如此!
评论信息
我要评论
深圳seo案例>
深圳SEO技术热推 >
友情链接: 深圳稻草SEO 站长SEO工具 卢松松 百度百科 搜外seo 服务器租用 SEO培训 唐山水泥 研报 西安seo 小红书推广 深圳seo博客 深圳网站优化博客