【Max】Python爬虫 带你一键爬取王者荣耀英雄皮肤壁纸

alpdr   ·   发表于 1个月前   ·   编程代码
葫芦侠:【Max】彼岸
#【Max】团队招募–期待与你相遇#
一、前言
王者荣耀这款手游,想必大家都玩过或听过,游戏里英雄有各式各样的皮肤,制作得很精美,有些拿来做电脑壁纸它不香吗。本文带你利用Python爬虫一键下载王者荣耀英雄皮肤壁纸。

1. 目标
创建一个文件夹, 里面又有按英雄名称分的子文件夹保存该英雄的所有皮肤图片

URL:https://pvp.qq.com/web201605/herolist.shtml

2. 环境
运行环境:Pycharm、Python3.7

需要的库

import requests
import os
import json
from lxml import etree
from fake_useragent import UserAgent
import logging

二、分析网页
#【Max】团队招募–期待与你相遇#
首先打开王者荣耀官网,点击英雄资料进去。

进入新的页面后,任意选择一个英雄,检查网页。

多选择几个英雄检查网页,可以发现各个英雄页面的URL规律

https://pvp.qq.com/web201605/herodetail/152.shtml
https://pvp.qq.com/web201605/herodetail/150.shtml
https://pvp.qq.com/web201605/herodetail/167.shtml

发现只有末尾的数字在变化,末尾的数字可以认为是该英雄的页面标识。

点击Network,Crtl + R 刷新,可以找到一个 herolist.json 文件。

发现是乱码,但问题不大,双击这个 json 文件,将它下载下来观察,用编辑器打开可以看到。

ename是英雄网址页面的标识;而 cname 是对应英雄的名称;skin_name为对应皮肤的名称。

任选一个英雄页面进去,检查该英雄下面所有皮肤,观察url变化规律。

#【Max】团队招募–期待与你相遇#

url变化规律如下:
https://game.gtimg.cn/images/yxzj/img201606/heroimg/152/152-bigskin-1.jpg
https://game.gtimg.cn/images/yxzj/img201606/heroimg/152/152-bigskin-2.jpg
https://game.gtimg.cn/images/yxzj/img201606/heroimg/152/152-bigskin-3.jpg
https://game.gtimg.cn/images/yxzj/img201606/heroimg/152/152-bigskin-4.jpg
https://game.gtimg.cn/images/yxzj/img201606/heroimg/152/152-bigskin-5.jpg

复制图片链接到浏览器打开,可以看到高清大图。

观察到同一个英雄的皮肤图片 url 末尾 -{x}.jpg 从 1 开始依次递增,再来看看不同英雄的皮肤图片 url 是如何构造的。会发现, ename这个英雄的标识不一样,获取到的图片就不一样,由 ename 参数决定。

https://game.gtimg.cn/images/yxzj/img201606/heroimg/152/152-bigskin-1.jpg
https://game.gtimg.cn/images/yxzj/img201606/heroimg/150/150-bigskin-1.jpg
https://game.gtimg.cn/images/yxzj/img201606/heroimg/153/153-bigskin-1.jpg
# 可构造图片请求链接如下
https://game.gtimg.cn/images/yxzj/img201606/heroimg/{ename}/{ename}-bigskin-{x}.jpg

三、爬虫代码实现

字数限制,我等下放在评论区[滑稽]

葫芦侠限制字数太难了[泪],我直接放链接吧[滑稽]
https://ws28.cn/f/3ppo95nqdcc 密码:65126583
有效期7天(不能设置永久,到期后找我换链接[滑稽])
#【Max】团队招募–期待与你相遇#

8 Reply   |  Until 1个月前 | 3563 View

ั͡[滑稽]᭄ོ
发表于 1个月前

不懂[滑稽]

评论列表

  • 加载数据中...

编写评论内容

北斗星的爱
发表于 1个月前

第一部分代码:
# -*- coding: UTF-8 -*-
import requests
import os
import json
from lxml import etree
from fake_useragent import UserAgent
import logging

# 日志输出的基本配置
logging.basicConfig(level=logging.INFO, format='%(asctime)s - %(levelname)s: %(message)s')

class glory_of_king(object):
def __init__(self):
if not os.path.exists("./王者荣耀皮肤"):
os.mkdir("王者荣耀皮肤")
# 利用fake_useragent产生随机UserAgent 防止被反爬
ua = UserAgent(verify_ssl=False, path='fake_useragent.json')
for i in range(1, 50):
self.headers = {
'User-Agent': ua.random
}

def scrape_skin(self):
# 发送请求 获取响应
response = requests.get('https://pvp.qq.com/web201605/js/herolist.json', headers=self.headers)
# str转为json
data = json.loads(response.text)
# for循环遍历data获取需要的字段 创建对应英雄名称的文件夹
for i in data:
hero_number = i['ename'] # 获取英雄名字编号
hero_name = i['cname'] # 获取英雄名字
os.mkdir("./王者荣耀皮肤/{}".format(hero_name)) # 创建英雄名称对应的文件夹
response_src = requests.get("https://pvp.qq.com/web201605/herodetail/{}.shtml".format(hero_number),
headers=self.headers)
hero_content = response_src.content.decode('gbk') # 返回相应的html页面 解码为gbk
# xpath解析对象 提取每个英雄的皮肤名字
hero_data = etree.HTML(hero_content)
hero_img = hero_data.xpath('//div[@class="pic-pf"]/ul/@data-imgname')
# 去掉每个皮肤名字中间的分隔符
hero_src = hero_img[0].split('|')
logging.info(hero_src)
# 遍历英雄src处理图片名称。
for j in range(len(hero_src)):
# 去掉皮肤名字的&符号
index_ = hero_src[j].find("&")
skin_name = hero_src[j][:index_]
# 请求下载图片

评论列表

  • 加载数据中...

编写评论内容

794229345
发表于 1个月前

第二部分代码: response_skin = requests.get(
"https://game.gtimg.cn/images/yxzj/img201606/skin/hero-info/{}/{}-bigskin-{}.jpg".format(
hero_number, hero_number, j + 1))
# 获取图片二进制数据
skin_img = response_skin.content
# 把皮肤图片保存到对应名字的文件里
with open("./王者荣耀皮肤/{}/{}.jpg".format(hero_name, skin_name), "wb")as f:
f.write(skin_img)
logging.info(f"{skin_name}.jpg 下载成功!!")

def run(self):
self.scrape_skin()

if __name__ == '__main__':
spider = glory_of_king()
spider.run()

程序运行一段时间,英雄皮肤壁纸就都保存在本地文件夹啦

评论列表

  • 加载数据中...

编写评论内容

猛子i
发表于 1个月前

来个scrapy的[滑稽]

评论列表

  • 加载数据中...

编写评论内容

administrator
发表于 1个月前

[滑稽][滑稽]

评论列表

  • 加载数据中...

编写评论内容

1008611
发表于 1个月前

[滑稽][滑稽][滑稽][玫瑰]

评论列表

  • 加载数据中...

编写评论内容

江山狂念
发表于 1个月前

限制字数太难受了,直接去帖子上下载文档吧[滑稽]

评论列表

  • 加载数据中...

编写评论内容

2670459508
发表于 1个月前

Max团队发帖奖励到账,再见了您。

评论列表

  • 加载数据中...

编写评论内容
LoginCan Publish Content