Définition de Crawler

Vous êtes chef d’entreprise ou travailleur indépendant ? Découvrez l'étendue de nos services :

Sous-traitez votre téléprospection
acheter des rendez-vous
Devenez téléprospecteur indépendant
devenir téléprospecteur
Dotez-vous d'un logiciel de téléprospection pro
logiciel de téléprospection
Achetez des fichiers de prospection BtoB
acheter fichiers d'entreprises

Un crawler, également connu sous le nom d’araignée ou de robot, est un programme web qui parcourt l’Internet, en lisant les pages web et en indexant les informations qu’il trouve. Un spider examine les mots clés, le contenu et les liens contenus dans chaque page et les stocke dans une base de données où un instantané de cette page peut être récupéré ultérieurement. Ce processus est utilisé par les moteurs de recherche, comme Google, afin que les informations les plus pertinentes puissent être récupérées lors de la recherche d’un terme ou d’une expression sur Internet.

Ce qu’un crawler fait avec les informations qu’il trouve

Bien qu’un crawler puisse être utilisé par les entreprises pour cataloguer leurs sites web ou leurs recherches, les crawlers sont surtout utilisés par les moteurs de recherche Internet. Les informations cataloguées par un robot sur chaque page web sont déposées dans une énorme base de données où elles peuvent être récupérées.

Par exemple, un utilisateur peut accéder à un moteur de recherche comme Google sur Internet. Ensuite, il peut taper un mot ou une phrase qu’il aimerait mieux connaître. Un utilisateur peut rechercher « qu’est-ce qu’un crawler » dans sa barre de recherche. Le moteur de recherche analysera son index, à la recherche des pages qui contiennent les informations les plus pertinentes pour cette recherche.

Reconstruction constante de la base de données

Pour qu’un moteur de recherche fournisse les informations les plus pertinentes possibles, un crawler ne doit pas seulement visiter et lister de nouvelles pages web dans des bases de données. Il doit également revisiter les pages qui ont été cataloguées dans le passé afin de déterminer s’il y a eu des changements qui pourraient affecter la pertinence de l’information.

Des crawlers sont effectués en permanence pour identifier les nouvelles pages et mettre à jour les informations des pages existantes.