Fichier de tests du plugin robots-txt

see the robots-txt.md source code

Il s’agit d’un plugin de tâches qui va réagir à la tentative d’accès au fichier robots.txt.

Le fichier est généralenent accédé par cette URL : http://marknotes.fr/robots.txt.

Dans marknotes, ce fichier n’existe pas et est, en réalité, le résultat de cette tâche : http://marknotes.fr/router.php?task=task.robotstxt.get

(ceci est totalement transparent pour l’utilisateur; c’est le fichier .htaccess qui gère cela)

Le contenu du fichier robots.txt est dynamique càd qu’il est possible d’influencer sur son accès et son contenu grâce au fichier settings.json.

Le modèle utilisé pour le fichier robots.txt est robots.txt.dist qui contient une variable nommée %DOCS % (sans l’espace) et qui sera remplacée dynamiquement par le nom du dossier où se trouve les notes. Il s’agit de la variable folder du fichier settings.json.

Le modèle peut aussi utiliser la variable %URL % (sans l’espace) pour faire référence à l’URL du site comme par exemple ici : Sitemap: %URL %/sitemap.xml (sans l’espace).

1. Paramètres

{
    "plugins": {
        "options": {
            "task": {
                "robots-txt": {
                    "bots_only": 0,
                    "disallow_all": 0
                }
            }
        }
    }
}

2. Librairie

Robots-txt implémente la libraire CrawlerDetect qui permet de détecter si le visiteur est un bot connu ou si on peut considérer le visiteur comme étant un humain.