def all_movie_post(ori_url):
  i = datetime.datetime.now()
  delta = datetime.timedelta(days=30)
  i = "%s" %(i - delta)
  day = i.split(' ')[0] # 获得30天前的日子
  print day
 
  user_agent = 'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)'
  headers = { 'User-Agent' : user_agent }
 
  post_list = []
  for i in range(1,100):
    request = urllib2.Request(ori_url + '-{}'.format(i),headers = headers)
    response = urllib2.urlopen(request)
    content = response.read().decode('utf-8')
    pattern = re.compile('<a href="(.*" rel="external nofollow" class="truetit" >.*"color:#808080;cursor: initial; ">(.*"text-align: center">

"htmlcode">

if i == 0:
        index = content.find('更多亮了的回帖')
        if index >= 0:
          content = content[index:]
        else:
          index = content.find('我要推荐')
          content = content[index:]


去除的规则其实并不重要，因为每个论坛都有自己的格式，只要能搞清楚源代码中是怎么写的，剩下的操作就可以自己根据规则进行。
每个回帖格式大致如图4，

用对应的正则表达式再去匹配，找到每个帖子每一个回帖的内容，在内容中搜索演员名字，即一开始的actor_1与actor_2，如果搜到，则在对应回帖日期下+1。
最终将两位演员名字出现频率返回，按日期记录的字典由于是全局变量，不需要返回。


web_str = '<span class="stime">(.*?) .*?</span>.*?<tbody>[\s]*<tr>[\s]*<td>(.*?)<br />' #找到回帖内容的正则
      pattern = re.compile(web_str, re.S)
      items = re.findall(pattern,content)
      for item in items:
        #if '<b>引用' in item: #如果引用别人的回帖，则去除引用部分
          #try:
            #item = item.split('</blockquote>')[1]
          #except:
            #print item
            #print item.decode('utf-8')
        if actor_1 in item[1]:
          actor1_dict[item[0]] += 1
          actor_1_freq += 1
        if actor_2 in item[1]:
          actor2_dict[item[0]] += 1
          actor_2_freq += 1


至此，我们就利用爬虫知识，成功完成对论坛关键字的频率搜索了。
这只是一个例子，关键字可以任意，这也不只是一个针对演员的诞生而写的程序。将演员名字换成其他词，就可以做到类似“您的年度关键字”这样的结果，根据频率大小来显示文字大小。
以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持。