Miten muokkaan robots.txt ja sitemap.xml -tiedostoja?
Hakukoneiden yleinen käytäntö on, että ne yrittävät ladata kaikilta palvelimilta robots.txt-tiedoston ennen kuin ne ryhtyvät varsinaisesti selaamaan palvelinta (eng. crawl), eli indeksoimaan sivustoa hakukoneen tietokantaan. Tähän tiedostoon kirjoitettavilla säännöillä voi esimerkiksi kieltää hakukoneita "näkemästä" sivustoa, tai sivuston indeksointitiheyttä voidaan rajoittaa. Robots.txt-säännöt eivät kuitenkaan estä hakukonebotin pääsyä sivustolle, ja riippuu hakukoneesta, totteleeko se sääntöjä.
Toinen samantyyppinen tiedosto on sivustokartta eli sitemap.xml, josta hakukoneet voivat saada luettelon kaikista sivuston sivuista.
Älä luo palvelimelle robots.txt tai sitemap.xml -tiedostoja itse – anna WordPressin tehdä ne!
Robots.txt
Vanhasta tottumuksesta moni voi mennä palvelimelle SSH/SFTP-yhteydellä ja luoda robots.txt tai sitemap.xml-tiedoston manuaalisesti. Oikeampi tapa WordPressin tapauksessa on antaa sen luoda tiedostot "lennosta", eli kun hakukone eli Google tai Bing kysyy sivua /robots.txt, antaa WordPress siitä vastauksen niin, ettei palvelimella ole staattista robots.txt-tiedostoa.
Jos robots.txt-tiedostoa halutaan räätälöidä, voi sen tehdä esimerkiksi lisäämällä teeman functions.php-tiedostoon oman funktion, joka rekisteröidään do_robotstxt -tapahtumaan.
Esimerkki
function example_disallow_directory() {
echo "User-agent: *" . PHP_EOL;
echo "Disallow: /kielletty/hakemisto/" . PHP_EOL;
}
add_action( 'do_robotstxt', 'example_disallow_directory' );
Sitemap.xml
Sama koskee myös sivustokarttaa eli sitemap.xml-tiedostoa. WordPressin versiosta 5.5 lähtien WordPressin ydin on generoinut sitemap.xml-tiedoston automaattisesti, mutta hakukoneoptimointityön helpottamiseksi on usein hyödyllistä asentaa sivustolle erillinen SEO-lisäosa, kuten SEO Framework tai Yoast.