Tuto web scraping (Parsehub)
#1
Bonjour,
je vous propose une petite découverte d'un logiciel de web scraping, à savoir parsehub.
Ce logiciel permet l'extraction des données d'un site. L'objectif est donc d'extraire le contenu d'une page d'un site de façon structurée, afin d'alimenter la LD.

Je prends pour exemple la récupération automatique de données météo et du cours du fioul. J'ai également intégré sur mon interface les données de vigilance pollens, qui a l'air d'intéresser plusieurs membres du forum.

Voici mon interface; l'aspect le plus sympa est le background dynamique qui change selon la météo :
[Image: 1554293047-img-0036.png]
[Image: 1554293046-img-0037.png][Image: 1554293040-img-0033.png][Image: 1554293045-img-0035.png]

Je précise que je ne suis pas du tout expert, je ne fait que présenter le fruit de mes recherches et tâtonnements. En tout cas ça fonctionne  Eek-1e6fb


Pièces jointes
.pdf   Tuto web scraping.pdf (Taille : 584.93 Ko / Téléchargements : 85)
Likes Received: 11 in 6 posts
Likes Given: 4
Répondre
#2
Alors franchement merci.
Moi qui chercher comment récupérer le niveau des alertes cycloniques sa va bien m'aider.
Répondre
#3
Salut,
Merci pour ton tuto.
Je l'ai testé avec le fioul, SUPER, bon boulot.
A suivre, pour d'autres idées.
C'est en cherchant que l'on trouve...
Al_Bla
Répondre
#4
Génial ce logiciel.

Merci pour le partage et le tuto. ;)

Envoyé de mon BLA-L29 en utilisant Tapatalk
Admin du Forum

Z-wave:  4 x RGBW - 8 x FGS211 - 2 x FGS221 - 1 x FGFS-101 - 17 x FGK101 - 4 x WallPlug - 1 x  FGSS-001 - 1 X FGBS.321 - 2 X FGD211 - 4 X FGSS-002 - 2 X FGMS-001
3 x SM103 - 1x HSM02 - 4 x AN157 - 4 x ST814 - 1 x ZG8101 , 2 x ZM1602 . 2 x Power Node 6
2 x Minimote - 1 X Smart Energy DSC06106 - 1 x Keyfob - 2 x FGPB.001 - 1x Octan remote

Divers : 1 x EcoDevices - 1 x IPX800 - 1 x Sirène Elkron - 3 x Foscam - 1 x Zmodo - 1 x Tablette Surface- 1 x Ipad2 - 1 x Qnap 453a- 1 x SMS Gateway - Sonos: 1xPlaybar , 1xSub, 2xPlay3 , 4xPlay1 , 2 x Thermostat NetAtmo + Station, Nuc, Karotz, Philips Hue , Roomba 620. Doorbird, Jeedom en esclave

Répondre
#5
Merci.
Les plus perspicaces auront remarqué que les unités indiquées dans les commandes des connecteurs (€ dans mon exemple du fioul) n’apparaissent pas dans DS sur iOS.
Je ne sais pas si le bug avait déjà été remonté.
Répondre
#6
Merci pour le tuto. Dès que j'ai un peu de temps je teste la météo (car toujours rien avec le widget LD)
Répondre
#7
Merci, ça m'a l'air très sympa. Je teste (j'espère) ce WE
Répondre
#8
Bonjour,

super tuto  Eek-1e6fb
http://www.homesweetdom.lu
Boutique en ligne avec identification des produits testés compatibles Lifedomus
www.homesweetshop.eu
Répondre
#9
Merci sirdjey pour le tuto que je viens de tester pour le fioul. 

J'ai également testé ce site (il faut s'inscrire) qui dispose d'une API très complète et qui évite le scrap (les commandes GET LD suffisent pour récupérer les données).

Finalement j'ai opté pour une solution plus simple avec ce site qui offre pas mal de possibilités pour créer un widget personnalisé.

Méthode :

1) Créer un widget personnalisé sur ce site en suivant les étapes indiquées

2) Créer un site personnel "simpliste" d'une page avec l'outil du FAI ou GitHub 
 
3) Indiquer à l’étape 4 de la création du widget personnalisé l'url du site personnel 

4) Effectuer un copier/coller du code du widget personnalisé sur la page du site personnel

5) Dans DS, mettre l'url du site personnel dans un widget "page web"

Personnellement :
- j'ai créé un widget personnalisé qui est placé en page d’accueil de LD ;
- j'ai ensuite créé dans LD une seconde page invisible "Météo" (accessible avec un bouton placé sur la page d’accueil) avec un second widget  LD "page web" dans lequel il y l'url du site après avoir sélectionné la ville (de la forme https://www.météo.fr/votre_ville). 
Les objets de la page restent animés comme sur le site ce qui permet, par exemple, de consulter les prévisions de précipitations heure/heure.
Likes Received: 34 in 29 posts
Likes Given: 21
Répondre
#10
Bonjour,
Merci pour ton retour.
En effet le site est très complet, et si l'on souhaite uniquement récupérer les datas ta méthode est plus simple.

Me concernant je suis passé par du scrapping pour la météo car je voulais vraiment récupérer les background évolutifs de MSN, question de design.
Pour donner d'autres idées, j'affiche également sur DS de manière aléatoire une des dernières anecdotes du site http://secouchermoinsbete.fr ainsi qu'une recette au hasard de https://www.marmiton.org/.

[Image: 1556611608-marmiton.jpg][Image: 1556611608-scmb.jpg]
Répondre




Utilisateur(s) parcourant ce sujet : 1 visiteur(s)