Miten muokkaan robots.txt ja sitemap.xml -tiedostoja?

Hakukoneiden yleinen käytäntö on, että ne yrittävät ladata kaikilta palvelimilta robots.txt-tiedoston ennen kuin ne ryhtyvät varsinaisesti selaamaan palvelinta, eli indeksoimaan sivustoa hakukoneen tietokantaan. Tämän tiedoston sisällöllä voi esimerkiksi kieltää hakukoneita "näkemästä" sivustoa, tai sivuston indeksointitiheyttä voi rajoittaa jne.

Toinen samantyyppinen tiedosto on sivustokartta eli sitemap.xml, josta hakukoneet voivat saada luettelon kaikista sivuston sivuista, joita halutaan hakukoneen huomioivan.

Robots.txt-tiedosto

Älä luo palvelimelle robots.txt tai sitemap.xml -tiedostoja itse – anna WordPressin tehdä ne!

Vanhasta tottumuksesta moni voi mennä palvelimelle SSH/SFTP-yhteydellä ja luoda robots.txt tai sitemap.xml-tiedostoja. WordPressin tapauksessa tämä on väärin. Oikea tapa on antaa WordPressin luoda nämä tiedostot "lennosta", eli kun Google tai Bing kysyy sivua /robots.txt, antaa WordPress siitä vastauksen ilman että palvelimella olisi staattista robots.txt-tiedostoa.

Jos haluat räätälöidä robots.txt-tiedostoa, voi sen tehdä esimerkiksi lisäämällä teeman functions.php-tiedostoon oman funktion, joka rekisteröidään do_robotstxt -tapahtumaan.

Esimerkki

function example_disallow_directory() {
  echo "User-agent: *" . PHP_EOL;
  echo "Disallow: /kielletty/hakemisto/" . PHP_EOL;
}
add_action( 'do_robotstxt', 'example_disallow_directory' );

Sivustokartta

Sama koskee myös sivustokarttaa eli sitemap.xml-tiedostoa. WordPressin versiosta 5.5 lähtien WordPressin ydin on generoinut sitemap.xml-tiedoston automaattisesti, mutta hakukoneoptimointityön helpottamiseksi on usein hyödyllistä asentaa sivustolle erillinen SEO-lisäosa. Seravo suosittelee SEO Framework -lisäosaa, sillä se on kevyempi ja näin sivustoa hidastamaton, toisin kuin tunnetumpi kilpailija Yoast SEO.

Lisätietoja aiheesta löytyy alla olevasta esityksestä: