Auteur: Virgile Ferrand
Dans nos deux premiers articles, nous avons découvert comment nous adapter avec des outils comme Bardeen et WebScraper dans notre approche du scraping.
Aujourd’hui, nous abordons un outil encore plus puissant et polyvalent : les API.
Alors que les méthodes traditionnelles se heurtent à des limites, les API quand à elles ouvrent des possibilités quasi illimité.
Jusqu’à présent nous avons joué avec les règles imposées par les moteurs de recherche en utilisant des methode de web scraping. Nous allons changer notre approche pour accéder et traiter l’information grâce aux API.
API : Analogie du restaurant
une API est un moyen pour les applications de communiquer entre elles, en envoyant des demandes et en recevant des réponses.
J’aime beaucoup utiliser l’exemple du restaurant pour comprendre les API :
Client = notre Application :
- Le client (notre application) a des besoins ou des requêtes specifiques.
Menu = Fonctionnalités de votre API
- Le menu du restaurant représente les différentes fonctionnalités offertes par la documentation API.
- Imaginons la documentation API comme le menu dans un restaurant.
- Tout comme le menu liste les plats disponibles, la documentation de l’API liste ses fonctionnalités, explique comment les utiliser et quels résultats attendre.
Serveur = Interface d’Interaction
- Le serveur qui prend la commande et la communique à la cuisine est comme l’interface par laquelle notre application communique avec l’API (C’est l’outil d’automatisation comme Zapier ou Make par exemple). Il sert de lien entre le client (notre application) et la cuisine (système de traitement de l’API).
Cuisine = Système de l’API :
- La cuisine, qui prépare la commande, représente le système de traitement l’application avec laquelle nous souhaitons interagir.
C'est cette application externe qui traite effectivement la requête et manipule les données pour produire le résultat désiré.
Plat Servi = Résultat de l’API
Utiliser des API pour le sourcing, c’est comme avoir un accès VIP à l’information : direct, structuré, et toujours à jour.
SerpAPI : data en un clic
Nous allons voir une manière d’utiliser une API pour récupérer des résutltats Google avec SerpAPI.
Il en existe pleins d’autres (RapideAPI, Serpstack, Google Custom Search**…).**
La SERP est l’acronyme de « Search Engine Results Page », c’est tout simplement une page de résultats suite à une requête lancée sur un moteur de recherche.
SERPAPI est un service en ligne conçu pour simplifier et accélérer le processus d’extraction de données à partir des pages de résultats des moteurs de recherche, tels que Google.
Il peut extraire des informations telles que les résultats de recherche organiques, les résultats payants (annonces), les images, les avis, et bien plus encore.
L’outil est efficace pour ceux qui ont besoin d’accéder à des informations de manière rapide et efficace, sans avoir à gérer des aspects techniques complexes.
Dans notre cas nous pouvons automatiser nos recherches Google X-ray et obtenir des résultats directement exploitables, sans les limites imposées par la navigation standard.
Il suffit de définir nos critères de recherche, et l’API fait le reste.
Creation d’un scénario avec Make
Make nous permet de transformer les données en actions concrète avec son module HTTP.
En quelques clics, nous pouvons configurer un workflow automatisé qui récupère les données de SerpAPI, les traite et les intègre dans votre base de données candidats, CRM ou même créer une nouvelle automatisation pour enrichir les données récolter, envoyer des mails…
Nous sommes arrivés au terme de notre trilogie d’astuces de sourcing et de scraping.
Ces outils pratiques que nous avons testés nous rappellent que les méthodes et les pratiques établies ne sont jamais définitivement acquises.
Les technologie évolue à un rythme vertigineux, ce que nous tenons pour acquis aujourd’hui peut rapidement devenir obsolète demain. Nous devons donc à rester en alerte, remettre constamment en question nos méthodes et à être proactifs dans notre veille technologique.