python批量查询百度收录

Python是一种非常适合SEO学习的语言，不仅语法简单，而且很多功能还能通过各种库来实现，可谓SEO居家必备的“良药”。

背景

作为SEO，每天都有一批数据需要记录，抓取方面，收录方面，流量方面等。
在收录方面，收录率是非常有意义的一个指标，可以直接反映整站或者某频道的收录情况。

我之前使用的是昆哥的软件，可以随机抽取一批页面查询，但后来觉得可以用python做得更自动化，更方便，于是就有了这个脚本。

思路

脚本的整体思路是这样的：

1. 用搜索关键词构建百度搜索URL（查询收录的时候搜索词就是待查页面URL）
2. 获取百度搜索结果页内容
3. 提取百度搜索结果（这里是最终的真实URL）
4. 收录判定

具体代码

#coding=utf-8import requestsfrom bs4 import BeautifulSoup as bsimport reheaders = {  'User-Agent': 'Mozilla/4.0+(compatible;+MSIE+8.0;+Windows+NT+5.1;+Trident/4.0;+GTB7.1;+.NET+CLR+2.0.50727)'} # 设置UA模拟用户，还可设置多个UA提高搜索成功率def baidu_url(word): # 构建百度搜索URL；因为是查收录，所以只显示了前10个搜索结果，还可以通过rn参数来调整搜索结果的数量 ''' get baidu search url ''' return ' >%s' % worddef baidu_cont(url): # 获取百度搜索结果页内容 r = requests.get(url, headers=headers) return r.contentdef serp_links(word): #获取百度搜索结果的最终URL ''' get baidu serp links with the word ''' b_url = baidu_url(word) soup = bs(baidu_cont(b_url)) b_tags = soup.find_all('h3', {'class': 't'}) # 获取URL的特征值是通过class="t" b_links = [tag.a['href'] for tag in b_tags] real_links = [] for link in b_links: # 使用requests库获取了最终URL，而不是快照URL  try:   r = requests.get(link, headers=headers, timeout=120)  except Exception as e:   real_links.append('page404')  else:   real_links.append(r.url) return real_linksdef indexer(url): # 待查URL是否在百度搜索结果的URL列表中，如果在就表示收录，反之未收录 indexed_links = serp_links(url) if url in indexed_links:  return True else:  return False

原标题：python批量查询百度收录

关键词：