python爬虫：搜狐网新闻爬取
python爬虫练习：搜狐网新闻爬取
帮朋友写了一个课程设计，目的是获得新闻页面的标题、时间以及正文内容。 写的很简单，并没有很复杂的知识，应该很好理解。 首先是导入我们需要的各种库，其中requests是第三方库，记得用pip安装一下
import requests import re import os
首先要从搜狐主页面上获得所需要的所有html代码
# 获得搜狐页面的内容def get_all_url(url): try: # 获取总的html内容 html = getHTMLText(url) return html except: print("failed connect")# 获得html内容，套路内容def getHTMLText(url): try: # requests爬虫的正常操作，访问获得返回 r = requests.get(url) # 判断是否成功？ r.raise_for_status() # 改变编码方式，转为UTF-8 r.encoding = r.apparent_encoding # 返回html正文内容 return r.text except: return '
然后我们需要分析出html中所有的超