Bonjour,

Je travaille sur un projet de grattage Web qui extraira des données d'un site Web de commerce électronique populaire à l'aide de Python, BeautifulSoup et de requêtes. L'objectif est de récupérer des informations sur le produit telles que le nom du produit, le prix, la disponibilité et les avis des utilisateurs. J'ai déjà fait quelques progrès avec mon code, mais je rencontre quelques obstacles que j'ai du mal à surmonter.

Voici ce que j'ai jusqu'à présent :

import requests
from bs4 import BeautifulSoup

base_url = 'https://www.example-ecommerce.com'
product_category = 'electronics'  # I'll be scraping electronics category for this example
url = f'{base_url}/{product_category}'
response = requests.get(url)
soup = BeautifulSoup(response.text, 'html.parser')

# Scraping product information
products = soup.find_all('div', class_='product-item')

for product in products:
    product_name = product.find('h2', class_='product-name').text.strip()
    product_price = product.find('span', class_='product-price').text.strip()
    product_availability = product.find('div', class_='availability').text.strip()
    
    # Extracting customer reviews (This part will be added later)
    # customer_reviews = ...

    print(f"Product: {product_name}")
    print(f"Price: {product_price}")
    print(f"Availability: {product_availability}")
    print("Customer Reviews:")
    # Printing customer reviews

# Pagination code will be added later
# Next page navigation and loop to scrape data from all pages will be implemented here

Chaque catégorie de produits a sa propre page sur Internet. Bien que j'aie pu récupérer les informations sur le produit de la première page, je ne sais pas comment parcourir les sites suivants et récolter les données de toutes les pages de la catégorie. Pour résoudre ce problème, j'ai lu le post scaler, mais je ne pouvais pas le comprendre complètement. Comment puis-je utiliser la pagination pour extraire des données de toutes les pages de la catégorie électronique ?

Avis des consommateurs : J'ai également besoin de recueillir les commentaires des consommateurs pour chaque produit. Les avis des utilisateurs, cependant, ne sont pas facilement accessibles à partir de la page de liste des produits. Pour obtenir les avis, je dois plutôt me rendre sur la page individuelle de chaque produit. Comment puis-je modifier mon code de manière à ce qu'il navigue sur le site Web de chaque produit et extrait les avis de ses clients avant de revenir à la page de liste des catégories pour récupérer plus de produits ?