Bonjour à tous,

pour un super projet il faut que je développe un crawler web capable si on lui donne un domaine ou un répertoire de parcourir les pages (X)HTML et stocker des méta-données dans une base de donnée.

Est-ce difficile à réaliser ? Quel langage utiliser, quelle bibliothèque ?

Merci pour vos réponses.

Tu peux faire ça dans plein de langages, lesquels connais-tu déjà ?

Tu peux le faire dans n'importe quel langage, j'ai personnellement une petite préférence pour Python.

Avec ses modules urllib3 et BeautifoulSoup, il est très facile de se connecter aux pages web et de filtrer le contenu en utilisant un parser HTML.