Home » [Guida] Come creare un Robots.txt per WordPress ottimizzato per i motori di ricerca
Guide WordPress

[Guida] Come creare un Robots.txt per WordPress ottimizzato per i motori di ricerca

Salve community, in questa guida vi mostrerò come ottimizzare il file robots.txt di WordPres per i motori di ricerca, che è estremamente importante per non incorrere in penalizzazioni da parte dei motori di ricerca per causa dei Contenuti Duplicati.

Per ottimizzare il file robots.txt esistono molto varie guide al riguardo, possiamo operare in vari punti semplicissimi, giusto per farvi capire anche il funzionamento dello stesso file. La prima cosa da decidere è quali Bot potranno accedere al nostro file robots.txt. Infatti possiamo decidere quali Bot avranno acceso alla scansione del nostro sito web, nel nostro caso tutti quindi metteremo il valore “*”:

  • User-agent: *

Ora dobbiamo sempre decidere a quali dei vari files e cartelle di WordPress vogliamo impedirne l’indicizzazione, ad esempio: wp-admin, wp-includes etc.:

  • Disallow: /wp-
  • Disallow: /cgi-bin/
  • Disallow: /wp-admin/
  • Disallow: /wp-includes/
  • Disallow: /wp-content/

Ora invece, andiamo a scegliere ad esempio di bloccare tutte quelle cartelle non fisicamente presenti che sul nostro host, ma che producono i contenuti duplicati tipo i feed, i commenti etc.:

  • Disallow: /trackback/
  • Disallow: /feed/
  • Disallow: /comments/
  • Disallow: */trackback/
  • Disallow: */feed/
  • Disallow: */comments/

Possiamo anche decidere di bloccare tutti gli URL creati da una esecuzione di una query, tipo quando si effettua una ricerca nel sito:

  • Disallow: /*?*
  • Disallow: /*?

Ora possiamo, bloccare invece gli archivi dei tag e delle categorie che producono anche loro dei contenuti duplicati:

  • Disallow: /tag/
  • Disallow: /category/

Ora, invece permetteremo l’indicizzazione delle immagini o media contenuti nei vari articoli del CMS di WordPress:

  • Allow: /wp-content/uploads/

Ed ora in ultimo, ma il più importante, andremo a comunicare invece l’URL ai vari Bot della sitemap CMS di WordPress, in questo caso sitemap.xml ma potrebbe essere anche sitemap.xml.gz ovvero  la versione compressa:

  • Sitemap: http://www.nomedominio.it/sitemap.xml

Se avete seguito tutti i punti potete salvare il files come un normale file di testo chiamandolo semplicemente robots.txt. Ora non vi resta che caricarlo sul vostro spazio web, ad esempio mediante collegamene FTP, ed andandolo a colorare nella root principale del vostro spazio web.

Fine! Eccovi il file robots.txt completo:

User-agent: *

Disallow: /wp-
Disallow: /cgi-bin/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/
Disallow: /trackback/
Disallow: /feed/
Disallow: /comments/
Disallow: */trackback/
Disallow: */feed/
Disallow: */comments/
Disallow: /*?*
Disallow: /*?
Disallow: /tag/
Disallow: /category/

Allow: /wp-content/uploads/

Sitemap: http://www.nomedominio.it/sitemap.xml

Naturalmente non vi resta che cambiare l’indirizzo (URL) della vostra sitemap. Questo è uno dei tanti metodi per creare un file robots.txt ben ottimizzato per i motori di ricerca, spero di esservi stato d’aiuto Un saluto lo staff

Sono presenti link non funzionanti nell'articolo?
Segnalalo tramite commento, grazie della collaborazione.

Ti e piaciuto questo articolo?
Supporta il nostro lavoro, facendo una donazione!

Informazioni sull'autore

LucaH2

CEO e Fondatore di questo blog, sono un perito industriale capo-tecnico specializzazione Chimica, ma amo la tecnologia. Sono un appassionato di tutte le novità tecnologiche, con abbastanza esperienza sui sistemi di rete, hardware e software.

Oltre alla tecnologia un’altra grande passione sono le auto e le competizioni, ho abbastanza esperienza nella realizzazione e progettazione di vetture monoposto e biposto.

Desktop Solution