Python网页抓取实战：高效解析Tonies产品时长与价格_技术教程

本文提供了一个使用python进行网页抓取的高效教程，旨在从tonies.com网站提取tonies产品的播放时长和价格。文章解决了传统爬虫在处理shadow dom和cookie接受等复杂问题时的局限性，重点演示了如何利用requests和beautifulsoup库，通过解析网页中嵌入的json数据 (__next_data__脚本标签) 来准确、全面地获取结构化产品信息。

传统网页抓取面临的挑战

在尝试从现代网站（如tonies.com）抓取数据时，开发者经常会遇到一些挑战。例如，网站可能使用JavaScript动态加载内容，导致BeautifulSoup等静态解析工具难以直接获取所有信息。用户可能会遇到复杂的交互元素，如Shadow DOM中的Cookie接受弹窗，这使得使用Selenium等自动化工具也变得复杂。此外，直接解析HTML元素可能需要编写复杂的选择器和正则表达式，且容易因网站结构微小变化而失效，效率低下，且维护困难。最初的尝试可能仅能抓取到部分数据（例如，只抓取到21个项目），无法获取完整的页面信息。

高效的数据获取策略：利用嵌入式JSON

幸运的是，许多现代Web应用（尤其是使用React、Next.js等框架构建的单页应用）会在HTML页面中嵌入结构化的JSON数据，通常位于一个ID为__NEXT_DATA__的

实现步骤

我们将使用Python的requests库发送HTTP请求，BeautifulSoup库解析HTML，以及内置的json库处理JSON数据。

1. 导入必要的库

首先，确保安装了requests和beautifulsoup4库。如果尚未安装，可以通过pip install requests beautifulsoup4进行安装。

import requests
from bs4 import BeautifulSoup
import json

2. 发送HTTP请求并解析HTML

使用requests.get()方法向目标URL发送请求，获取网页内容。为了模拟浏览器行为，建议添加User-Agent头信息。然后，使用BeautifulSoup将HTML内容解析成一个可操作的对象。

url = "https://tonies.com/en-gb/tonies/"
# 添加headers模拟浏览器请求，有助于避免被网站识别为爬虫而拒绝访问
headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124124 Safari/537.36"
}

try:
    response = requests.get(url, headers=headers, timeout=10)
    response.raise_for_status()  # 检查HTTP请求是否成功，如果失败则抛出异常
except requests.exceptions.RequestException as e:
    print(f"请求失败: {e}")
    # 在实际应用中，这里可能需要更复杂的错误处理或重试机制
    exit()

soup = BeautifulSoup(response.text, "html.parser")

3. 定位并提取JSON数据

这是整个过程的关键一步。我们通过ID选择器#__NEXT_DATA__来定位包含JSON数据的

next_data_script = soup.select_one("#__NEXT_DATA__")
if not next_data_script:
    print("未找到__NEXT_DATA__ script标签，网站结构可能已改变。")
    exit()

try:
    data = json.loads(next_data_script.text)
except json.JSONDecodeError as e:
    print(f"解析JSON数据失败: {e}")
    exit()

4. 结构化处理产品数据

提取出的data字典包含了网站的各种状态和数据。我们需要根据其结构导航到具体的产品列表。对于tonies.com，产品数据通常嵌套在["props"]["pageProps"]["page"]["productList"]["normalizedProducts"]路径下。

try:
    product_list = data["props"]["pageProps"]["page"]["productList"]["normalizedProducts"]
except KeyError as e:
    print(f"导航到产品列表路径失败: {e}，JSON结构可能已改变。")
    exit()

# 定义我们感兴趣的键
use_keys = ["name", "price", "runTime"]

# 遍历产品列表，提取所需信息
tonies_data = []
for product in product_list:
    item_info = {}
    for key in use_keys:
        if key == "price":
            # 价格信息通常嵌套在另一个字典中，需要进一步提取'amount'
            item_info[key] = product.get(key, {}).get("amount")
        else:
            item_info[key] = product.get(key)
    tonies_data.append(item_info)

完整代码示例

将上述步骤整合，形成一个完整的Python脚本：

import requests
from bs4 import BeautifulSoup
import json

def scrape_tonies_data():
    """
    从tonies.com抓取产品名称、价格和播放时长。
    """
    url = "https://tonies.com/en-gb/tonies/"
    headers = {
        "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124124 Safari/537.36"
    }

    try:
        response = requests.get(url, headers=headers, timeout=10)
        response.raise_for_status()  # 检查HTTP请求是否成功
    except requests.exceptions.RequestException as e:
        print(f"请求失败: {e}")
        return []

    soup = BeautifulSoup(response.text, "html.parser")

    next_data_script = soup.select_one("#__NEXT_DATA__")
    if not next_data_script:
        print("未找到__NEXT_DATA__ script标签，网站结构可能已改变。")
        return []

    try:
        data = json.loads(next_data_script.text)
        product_list = data["props"]["pageProps"]["page"]["productList"]["normalizedProducts"]
    except (json.JSONDecodeError, KeyError) as e:
        print(f"解析JSON数据或导航路径失败: {e}