Salve community, in questa guida vi mostrerò come ottimizzare il file robots.txt di WordPres per i motori di ricerca, che è estremamente importante per non incorrere in penalizzazioni da parte dei motori di ricerca per causa dei Contenuti Duplicati.
Per ottimizzare il file robots.txt esistono molto varie guide al riguardo, possiamo operare in vari punti semplicissimi, giusto per farvi capire anche il funzionamento dello stesso file. La prima cosa da decidere è quali Bot potranno accedere al nostro file robots.txt. Infatti possiamo decidere quali Bot avranno acceso alla scansione del nostro sito web, nel nostro caso tutti quindi metteremo il valore “*”:
- User-agent: *
Ora dobbiamo sempre decidere a quali dei vari files e cartelle di WordPress vogliamo impedirne l’indicizzazione, ad esempio: wp-admin, wp-includes etc.:
- Disallow: /wp-
- Disallow: /cgi-bin/
- Disallow: /wp-admin/
- Disallow: /wp-includes/
- Disallow: /wp-content/
Ora invece, andiamo a scegliere ad esempio di bloccare tutte quelle cartelle non fisicamente presenti che sul nostro host, ma che producono i contenuti duplicati tipo i feed, i commenti etc.:
- Disallow: /trackback/
- Disallow: /feed/
- Disallow: /comments/
- Disallow: */trackback/
- Disallow: */feed/
- Disallow: */comments/
Possiamo anche decidere di bloccare tutti gli URL creati da una esecuzione di una query, tipo quando si effettua una ricerca nel sito:
- Disallow: /*?*
- Disallow: /*?
Ora possiamo, bloccare invece gli archivi dei tag e delle categorie che producono anche loro dei contenuti duplicati:
- Disallow: /tag/
- Disallow: /category/
Ora, invece permetteremo l’indicizzazione delle immagini o media contenuti nei vari articoli del CMS di WordPress:
- Allow: /wp-content/uploads/
Ed ora in ultimo, ma il più importante, andremo a comunicare invece l’URL ai vari Bot della sitemap CMS di WordPress, in questo caso sitemap.xml ma potrebbe essere anche sitemap.xml.gz ovvero la versione compressa:
- Sitemap: http://www.nomedominio.it/sitemap.xml
Se avete seguito tutti i punti potete salvare il files come un normale file di testo chiamandolo semplicemente robots.txt. Ora non vi resta che caricarlo sul vostro spazio web, ad esempio mediante collegamene FTP, ed andandolo a colorare nella root principale del vostro spazio web.
Fine! Eccovi il file robots.txt completo:
User-agent: *
Disallow: /wp-
Disallow: /cgi-bin/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/
Disallow: /trackback/
Disallow: /feed/
Disallow: /comments/
Disallow: */trackback/
Disallow: */feed/
Disallow: */comments/
Disallow: /*?*
Disallow: /*?
Disallow: /tag/
Disallow: /category/Allow: /wp-content/uploads/
Sitemap: http://www.nomedominio.it/sitemap.xml
Naturalmente non vi resta che cambiare l’indirizzo (URL) della vostra sitemap. Questo è uno dei tanti metodi per creare un file robots.txt ben ottimizzato per i motori di ricerca, spero di esservi stato d’aiuto Un saluto lo staff
