标签归档：爬虫

Python 爬虫

Python 实战教程 — 爬取所有LOL英雄皮肤壁纸

今天是教使用大家selenium，一键爬取LOL英雄皮肤壁纸。

第一步，先要进行网页分析

一、网页分析

进入LOL官网后，鼠标悬停在游戏资料上，等出现窗口，选择资料库，点击进入。大家可以直接打开链接👉http://lol.qq.com/data/info-heros.shtml

进入了所有英雄的页面，随便选择一个英雄进行查看

检查可以发现一个一个名为hero_list.js的文件，里面保存了所有英雄的有关信息，可以将里面的内容复制下来保存到本地txt，然后再利用Python转为json。

import json

# 读取txt里数据
with open('hreo_list.txt') as f:
    con = f.read()
# 将str转换为json
rep = json.loads(con)
# 遍历  得到每个英雄的 ID
print(f"有多少个英雄：{len(rep['hero'])}")    # 有多少个英雄：152
# https://lol.qq.com/data/info-defail.shtml?id=876
count = 0
for item in rep['hero']:
    print(f"英雄ID：{item['heroId']}")

执行过程

依次点击英雄的详情页分析

id参数的值为.js文件中heroId对应的值
通过参数构造英雄详情页的URL

黑暗之女：https://lol.qq.com/data/info-defail.shtml?id=1
狂战士：https://lol.qq.com/data/info-defail.shtml?id=2
正义巨像：https://lol.qq.com/data/info-defail.shtml?id=3
含羞蓓蕾：https://lol.qq.com/data/info-defail.shtml?id=876

一些英雄的皮肤URL是规律的，比如安妮这样：

# big + id + 001.jpg  从001.jpg开始
https://game.gtimg.cn/images/lol/act/img/skin/big1001.jpg
https://game.gtimg.cn/images/lol/act/img/skin/big1002.jpg
https://game.gtimg.cn/images/lol/act/img/skin/big1003.jpg
https://game.gtimg.cn/images/lol/act/img/skin/big1004.jpg
https://game.gtimg.cn/images/lol/act/img/skin/big1005.jpg

但有些又像派克这样，皮肤URL不规律

https://game.gtimg.cn/images/lol/act/img/skin/big555001.jpg   # 第一张
https://game.gtimg.cn/images/lol/act/img/skin/big555009.jpg   # 第二张
https://game.gtimg.cn/images/lol/act/img/skin/big555016.jpg   # 第三张00000000000000

这样的情况，构造URL来请求下载图片不方便，我们直接上 selenium 大法👇

二、selenium爬虫

爬虫大法好，走起🚀

部分爬虫代码，完整代码下载见文末👇

def create_urls():
    # 读取txt里数据
    with open('hreo_list.txt') as f:
        con = f.read()
    # 将str转换为json
    rep = json.loads(con)
    # 遍历  得到每个英雄的 ID
    print(f"有多少个英雄：{len(rep['hero'])}")
    # https://lol.qq.com/data/info-defail.shtml?id=876
    id_ = []
    for item in rep['hero']:
        # print(f"英雄ID：{item['heroId']} -- 英雄名称：{item['name']}")
        id_.append((item['heroId'],item['name']))
    return id_

运行效果如下：

预览结果

死亡如风，常伴吾身。吾虽浪迹天涯，却未迷失本心。长路漫漫，唯剑作伴。

想当初，我的亚索也是很快乐的~

本文转自快学Python.

我们的文章到此就结束啦，如果你喜欢今天的 Python 教程，请持续关注Python实用宝典。

有任何问题，可以在公众号后台回复：加群，回答相应验证信息，进入互助群询问。

原创不易，希望你能在下面点个赞和在看支持我继续创作，谢谢！

我要打赏
给作者打赏，选择打赏金额
¥1¥5¥10¥20¥50¥100¥200 自定义
立即支付

​Python实用宝典 ( pythondict.com )
不只是一个宝典
欢迎关注公众号：Python实用宝典

Python 爬虫

推荐一款小众且好用的 Python 爬虫库—RoboBrowser

1. 前言

今天推荐一款小众轻量级的爬虫库：RoboBrowser

RoboBrowser，Your friendly neighborhood web scraper！由纯 Python 编写，运行无需独立的浏览器，它不仅可以做爬虫，还可以实现 Web 端的自动化

项目地址：

https://github.com/jmcarp/robobrowser

2. 安装及用法

在实战之前，我们先安装依赖库及解析器

PS：官方推荐的解析器是 「lxml」

# 安装依赖
pip3 install robobrowser

# lxml解析器（官方推荐）
pip3 install lxml

RoboBrowser 常见的 2 个功能为：

  • 模拟表单 Form 提交

  • 网页数据爬取

使用 RoboBrowser 进行网页数据爬取，常见的 3 个方法如下：

  • find

    查询当前页面满足条件的第一个元素

  • find_all

    查询当前页面拥有共同属性的一个列表元素

  • select

    通过 CSS 选择器，查询页面，返回一个元素列表

需要指出的是，RoboBrowser 依赖于 BS4，所以它的使用方法和 BS4 类似

更多功能可以参考：

https://www.crummy.com/software/BeautifulSoup/bs4/doc.zh/

3. 实战一下

我们以「 百度搜索及爬取搜索结果列表 」为例

3-1  打开目标网站

首先，我们实例化一个 RoboBrowser 对象

from time import sleep

from robobrowser import RoboBrowser

home_url = 'https://baidu.com'

#  parser: 解析器，HTML parser; used by BeautifulSoup
#  官方推荐：lxml
rb = RoboBrowser(history=True, parser='lxml')

# 打开目标网站
rb.open(home_url)

然后，使用 RoboBrowser 实例对象中的 open() 方法打开目标网站

3-2  自动化表单提交

首先，使用 RoboBrowser 实例对象获取网页中的表单 Form

然后，通过为表单中的输入框赋值模拟输入操作

最后，使用 submit_form() 方法进行表单提交，模拟一次搜索操作

# 获取表单对象
bd_form = rb.get_form()

print(bd_form)

bd_form['wd'].value = "AirPython"

# 提交表单，模拟一次搜索
rb.submit_form(bd_form)

3-3  数据爬取

分析搜索页面的网页结构，利用 RoboBrowser 中的 select() 方法匹配出所有的搜索列表元素

遍历搜索列表元素，使用 find() 方法查询出每一项的标题及 href 链接地址

# 查看结果
result_elements = rb.select(".result")

# 搜索结果
search_result = []

# 第一项的链接地址
first_href = ''

for index, element in enumerate(result_elements):
    title = element.find("a").text
    href = element.find("a")['href']
    search_result.append(title)

    if index == 0:
        first_href = element.find("a")
        print('第一项地址为:', href)

print(search_result)

最后，使用 RoboBrowser 中的 follow_link() 方法模拟一下「点击链接，查看网页详情」的操作

# 跳转到第一个链接
rb.follow_link(first_href)

# 获取历史
print(rb.url)

需要注意的是，follow_link() 方法的参数为带有 href 值的 a 标签

4. 最后

文中结合百度搜索实例，使用 RoboBrowser 完成了一次自动化及爬虫操作

相比 Selenium、Helium 等，RoboBrowser 更轻量级，不依赖独立的浏览器及驱动

如果想处理一些简单的爬虫或 Web 自动化，RoboBrowser 完全够用；但是面对一些复杂的自动化场景，更建议使用 Selenium、Pyppeteer、Helium 等

我们的文章到此就结束啦，如果你喜欢今天的 Python 教程，请持续关注Python实用宝典。

有任何问题，可以在公众号后台回复：加群，回答相应验证信息，进入互助群询问。

原创不易，希望你能在下面点个赞和在看支持我继续创作，谢谢！

我要打赏
给作者打赏，选择打赏金额
¥1¥5¥10¥20¥50¥100¥200 自定义
立即支付

​Python实用宝典 ( pythondict.com )
不只是一个宝典
欢迎关注公众号：Python实用宝典

Python 爬虫

Python 自动化，Helium 凭什么取代 Selenium？

留下评论

来自AirPython哥的分享。

1. Helium 是什么？

Helium 是一款 Web 端自动化开源框架，全称是：Selenium-Python-Helium，从名字上就可以看出，Helium 似乎和 Selenium 息息相关

确实，Helium 针对 Selenium 进行了封装，它屏蔽了 Selenium 很多实现细节，提供了更加简洁直观的 API，更方便我们进行 Web 端的自动化

官方表示，要实现同样的功能，Helium 相比 Selenium 要少 30% – 50% 的代码

目前，Helium 仅支持 Chrome 和 FireFox

2.优缺点

Helium 主要包含下面 6 个优点：

  • Helium 自带 WebDriver，不需要下载、配置浏览器驱动
  • 内嵌页面 iframe 页面元素直接操作，不需要使用 switch_to.frame() 切换 iframe
  • 窗体管理更方便，可以直接使用窗口标题或部分标题内容来切换窗体
  • 隐式等待，针对某个元素执行点击操作，Selenium 如果元素没有出现，脚本会执行失败；而 Helium 默认最多等待 10s，等待元素出现后立马执行点击操作
  • 显式等待，Helium 提供更加优雅的 API 来等待页面元素出现
  • API 更简洁直观，代码量少

Helium 主要缺点，体现在：

  • 由于封装，屏蔽了很多细节，所以它不合适二次开发
  • 目前仅支持 Chrome 和 FireFox 浏览器
  • 版本更新慢、遗留 Bug 及文档少

3.准备一下

切换到对应的虚拟环境下，通过 pip 命令安装依赖即可

# 安装依赖
pip3 install helium

接着，我们在 IDE 中，使用 helium.__all__ 打印出它包含的属性及方法

我们发现，Helium 包含的操作动作、控件对象、键盘操作关键字基本覆盖了大部分的自动化操作场景

4.Selenium VS Helium

是骡子是马，拉出来溜溜 ~

接下来，我们以登录 126 邮箱为例，来比较 Selenium 和 Helium

1、传统 Selenium 实现

首先，我们需要下载并配置 WebDriver，然后实例化 WebDriver 对象，打开邮箱登录的主页面

from selenium import webdriver

# 实例化Driver
driver = webdriver.Chrome()
# 隐式等待10s
driver.implicitly_wait(10)
# 打开主页面
driver.get(home_url)

通过观察网页元素，发现输入框区域被包裹在 iframe 内嵌页面中

所以，我们需要使用 switch_to.frame() 函数切换到对应的 iframe，才能操作 iframe 内部的元素

from selenium.webdriver.common.by import By
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.support.ui import WebDriverWait

# 显示等待打开主页面
wait = WebDriverWait(driver, 10, 0.5)

# 切换到对应的iframe，否则无法操作内部元素
wait.until(
    EC.frame_to_be_available_and_switch_to_it(driver.find_element_by_xpath('//iframe[contains(@id,"x-URS-iframe")]')))

接着，使用 Selenium API（ 这里以 Xpath 为例 ）查找用户名和密码输入框、登录按钮；输入用户名和密码，模拟登录操作

# 用户名输入框
element_input = wait.until(EC.visibility_of(driver.find_element_by_xpath('//input[@name="email"]')))
element_input.clear()
element_input.send_keys(username)

# 密码输入框
element_password = wait.until(EC.visibility_of(driver.find_element_by_xpath('//input[@name="password"]')))
element_password.clear()
element_password.send_keys(password)

# 登录按钮
wait.until(EC.element_to_be_clickable((By.XPATH, '//a[@id="dologin"]'))).click()

最后，通过某个页面元素是否出现来判断是否登录成功

# 找一个登录成功的页面元素
# 通过元素属性+元素值来唯一定位元素
result = True
try:
    element_recy_email = wait.until(EC.element_to_be_clickable((By.XPATH, '//span[@class="oz0" and contains(text(),"收 信")]')))
    if element_recy_email:
        result = True
    else:
        result = False
except Exception as e:
    result = False

print("邮箱登陆成功" if result else "邮箱登录失败")

2、Helium 实现

接下来，我们通过 Helium 的方式来实现这一操作

首先，我们只需要 2 行代码即可以打开主页

from helium import *

# 打开主页
driver = start_chrome(home_url)

# 等待元素加载完成
wait_until(Text("你的专业电子邮局").exists)

然后，通过内置 TextField 控件对象及预设文本内容，使用 write 动作输入用户名和密码

# 不需要切换iframe，直接输入
write(username,TextField('邮箱帐号或手机号码'))
write(password,TextField('输入密码'))

值得一提的是，Helium 不需要切换 iframe，可以直接操作内嵌页面元素，简直不要太方便！

# 模拟点击Enter键登录
press(ENTER)

通过 Helium 内置的 wait_until 方法 + 控件对象，可以显式等待元素出现，默认最长时间为 10s比如，这里等待登录完成的主页面加载完成，收件箱可以点击，执行一次点击操作

wait_until(Text('收 信').exists)

# 点击收件箱
click(Text('收 信'))

最后，调用 kill_browser() 方法关闭浏览器，结束自动化操作

# 退出
sleep(10)

# 关闭浏览器
kill_browser()

需要指出的是，Helium 使用 start_chrome() 方法返回的对象实际上就是 WebDriver 对象，可以结合 Selenium API 一起使用

5.最后

通过上面的对比发现，Helium 相比 Selenium 使用似乎更方便，但是它不适用于一些复杂的页面

因此，在实际自动化项目中，建议搭配 Selenium 和 Helium 使用，简单的页面使用 Helium，复杂的页面切换到 Selenium

如果你觉得文章还不错，请大家 点赞、分享、留言下，因为这将是我持续输出更多优质文章的最强动力！