帝王谷资源网 Design By www.wdxyy.com
一、前言
在我们日常聊天的过程中会使用大量的表情包,那么如何去获取表情包资源呢"htmlcode">
import os import requests from bs4 import BeautifulSoup
四、 功能
# 多线程程序需要用到的一些包 # 队列 from queue import Queue from threading import Thread
五、环境配置
解释器 python3.6
编辑器 pycharm专业版 激活码
六、多线程类代码
# 多线程类 class Download_Images(Thread): # 重写构造函数 def __init__(self, queue, path): Thread.__init__(self) # 类属性 self.queue = queue self.path = path if not os.path.exists(path): os.mkdir(path) def run(self) -> None: while True: # 图片资源的url链接地址 url = self.queue.get() try: download_images(url, self.path) except: print('下载失败') finally: # 当爬虫程序执行完成/出错中断之后发送消息给线程 代表线程必须停止执行 self.queue.task_done()
七、爬虫代码
# 爬虫代码 def download_images(url, path): headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/84.0.4147.105 Safari/537.36' } response = requests.get(url, headers=headers) soup = BeautifulSoup(response.text, 'lxml') img_list = soup.find_all('img', class_='ui image lazy') for img in img_list: image_title = img['title'] image_url = img['data-original'] try: with open(path + image_title + os.path.splitext(image_url)[-1], 'wb') as f: image = requests.get(image_url, headers=headers).content print('正在保存图片:', image_title) f.write(image) print('保存成功:', image_title) except: pass if __name__ == '__main__': _url = 'https://fabiaoqing.com/biaoqing/lists/page/{page}.html' urls = [_url.format(page=page) for page in range(1, 201)] queue = Queue() path = './threading_images/' for x in range(10): worker = Download_Images(queue, path) worker.daemon = True worker.start() for url in urls: queue.put(url) queue.join() print('下载完成...')
八、爬取效果图片
帝王谷资源网 Design By www.wdxyy.com
广告合作:本站广告合作请联系QQ:858582 申请时备注:广告合作(否则不回)
免责声明:本站文章均来自网站采集或用户投稿,网站不提供任何软件下载或自行开发的软件! 如有用户或公司发现本站内容信息存在侵权行为,请邮件告知! 858582#qq.com
免责声明:本站文章均来自网站采集或用户投稿,网站不提供任何软件下载或自行开发的软件! 如有用户或公司发现本站内容信息存在侵权行为,请邮件告知! 858582#qq.com
帝王谷资源网 Design By www.wdxyy.com
暂无评论...
更新日志
2024年12月23日
2024年12月23日
- 小骆驼-《草原狼2(蓝光CD)》[原抓WAV+CUE]
- 群星《欢迎来到我身边 电影原声专辑》[320K/MP3][105.02MB]
- 群星《欢迎来到我身边 电影原声专辑》[FLAC/分轨][480.9MB]
- 雷婷《梦里蓝天HQⅡ》 2023头版限量编号低速原抓[WAV+CUE][463M]
- 群星《2024好听新歌42》AI调整音效【WAV分轨】
- 王思雨-《思念陪着鸿雁飞》WAV
- 王思雨《喜马拉雅HQ》头版限量编号[WAV+CUE]
- 李健《无时无刻》[WAV+CUE][590M]
- 陈奕迅《酝酿》[WAV分轨][502M]
- 卓依婷《化蝶》2CD[WAV+CUE][1.1G]
- 群星《吉他王(黑胶CD)》[WAV+CUE]
- 齐秦《穿乐(穿越)》[WAV+CUE]
- 发烧珍品《数位CD音响测试-动向效果(九)》【WAV+CUE】
- 邝美云《邝美云精装歌集》[DSF][1.6G]
- 吕方《爱一回伤一回》[WAV+CUE][454M]