Aspirer/Crawler un site web – ligne de commande – wget linux / windows
Voici une ligne de commande bien simple qui permet de crawler un site grâce à wget.
wget -p -e robots=off -P “path_to_output_directory” “http://website_to_crawl”
- path_to_output_directory : Répertoire dans lequel seront sauvegardées les pages crawlés
- on ignore les règles présentes dans le fichier robot (comme le Disallow)
Si le site à crawler nécessite une authentification :
wget -O “path_to_output_directory” –keep-session-cookies –save-cookies “path_to_output_directory/cookies.txt” –post-data “UserName=Login&Password=MotDePasse” “http://website_to_crawl/PageDeLogin.html”
wget -p -e robots=off -P “path_to_output_directory” –load-cookies “path_to_output_directory/cookies.txt” “http://website_to_crawl”
La première ligne permet de réaliser l’authentification, les champs UserName et Password correspondent au nom des champs du formulaire d’authentification.
La deuxième ligne utilise le cookie généré suite à l’habilitation pour crawler tout le site.
