Guido Eugenio
male
jenkaitalii@hotmail.com
Theo☑☣★★★
|
Stavo pensando che potrebbe essere molto utile poter disporre della gestione del file robots.txt
Nel mio caso avrei la necessità di scrivere alcune regole per non fare indicizzare delle pagine cancellate delle news, ma che i crawlers ancora ricordano purché queste non siano più presenti; inoltre dovrei aggiungere alcune regole per ridurre la velocità degli spider, limitando yahoo ma non quelli di google.
Mi chiedo se per il CMS ASP.NET sarebbe possibile creare un plugin "intelligente" - od in alternativa una funzione nel menù della configurazione - e che permetta di scrivere regole personalizzate da includere nel file robots.txt
|
☚ |