Lorsqu’on veut indexer un site il peut être utile de partir de la sitemap du site qui est justement faite pour cela.

Tout d’abord vous pouvez regarder dans le fichier robots.txt si il y a une section sitemap:

Sitemap: http://example.com/sitemap.xml

Si la sitemap n’est pas référencé il vous reste une chance. Il est possible que le webmaster ai soumis la sitemap à google. Vous pouvez le savoir en tapant cette requête:

site:example.com filetype:xml OR filetype:gz