Visualiseur de Crawl : Carte des Liens Internes

Chaque cercle est une page découverte en suivant les liens internes depuis l'URL de départ. Le trait relie une page à celle qui l'a fait découvrir : vous voyez ainsi le chemin le plus court qu'un robot emprunte pour atteindre chaque page. Activez « Tous les liens » pour afficher l'ensemble des liens internes.

C'est le nombre minimum de clics nécessaires pour atteindre une page depuis l'URL de départ. Les pages importantes devraient se trouver à trois clics ou moins : au-delà, elles sont explorées moins souvent et reçoivent moins d'autorité interne.

Il lit le sitemap déclaré dans robots.txt (ou /sitemap.xml) et le compare aux pages trouvées en suivant les liens. Une URL présente dans le sitemap mais jamais atteinte par un lien est orpheline. Si l'exploration a atteint la limite de pages, ces URL sont des candidates à vérifier : elles sont peut-être liées depuis une page non explorée.

Elle renvoie un code autre que 200, contient une directive noindex (balise meta robots ou en-tête X-Robots-Tag), déclare une URL canonique différente, ou n'est pas une page HTML. Le panneau de détails indique la raison exacte.

Oui. Le robot s'identifie comme CodeSommetBot, applique les règles de robots.txt, ne quitte jamais le domaine indiqué et ne demande que quatre pages à la fois. L'exploration est limitée à 500 pages.

L'outil lit le HTML renvoyé par le serveur, comme le premier passage de Googlebot. Si vos liens n'apparaissent qu'après exécution du JavaScript, le graphe sera presque vide : c'est un signal fort que votre site devrait proposer un rendu serveur.