wget et aspiration de page web.

Publié le 13 Novembre 2012

Les choses avancent doucement mais surement !

On aspire des pages webs. Pour ça, on a deux commandes : wget, et scurl. Pour voir comment fonctionnent ces commandes, on fait un petit tour dans le shell !

On a utiliser ici wget complété de l'option -i mais aussi -P pour que les pages soient sauvgardées dans le répertoire PAGES-ASPIREES

La commande semble fonctionner ! On n'a utilisé ici -i, qui permet de lire les adresses des URLS directement dans un fichier.

Et effectivement, la commande fonctionne. On retrouve les pages dans le répertoire des pages aspirées. Le chemin en en-tête de la page (file://home/rome/document/PROJET-ENCADRE/PAGES-ASPIREES/2008....) confirme le bon fonctionnement du tout :)

Nous avons essayé d'insérer dans notre script initial une commande wget permettant d'aspirer une à une les pages des différents URLs des différents fichiers.

Nous ne sommens pas loin de ce résultat sauf qu'ici, les pages aspirées correspondant aux URLs du fichier russe.txt écrasent celles précédemment crées à partir des URLs du fichier francais.txt. Alors même si visuellement, notre tableau de liens semble correct, il est en fait erroné en profondeur...

Malgré de multiples tentatives, nous ne sommes pas parvenues au résultat escompté. Nous attendons donc avec impatience une solution à ce problème qui bloque pour l'instant la poursuite de nos recherches.

Tableaux faux: les pages aspirées du français sont les mêmes que les russes !

Problème résolu !! Il suffisait en fait de créer plusierus répertoires dans PAGES ASPIREES afin de stocker d'une part les pages aspirées du fichier Francais, de l'autre part celles du fichier Russe.