El fitxer robots.txt és un arxiu de text senzill que es col·loca a la carpeta arrel del teu lloc web. Aquest fitxer proporciona instruccions als motors de cerca sobre quines pàgines o seccions del teu lloc web poden rastrejar i indexar. És una eina essencial per controlar l'accés dels robots de cerca i optimitzar el SEO tècnic del teu lloc web.

1. Controlar l'accés dels robots de cerca: Permet especificar quines parts del lloc web poden ser rastrejades.
2. Evitar la sobrecàrrega del servidor: Limita el nombre de pàgines que els robots poden rastrejar, reduint la càrrega del servidor.
3. Protegir informació sensible: Impedeix que els motors de cerca accedeixin a pàgines que contenen informació confidencial o no rellevant.

El fitxer robots.txt segueix una estructura senzilla basada en directives. Les directives més comunes són User-agent i Disallow.

• User-agent: Indica a quin robot de cerca s'apliquen les regles següents.
• Disallow: Especifica les URL que no es permeten rastrejar.

En aquest exemple:

• User-agent: * indica que les regles s'apliquen a tots els robots de cerca.
• Disallow: /admin/ i Disallow: /private/ impedeixen que els robots rastregin les carpetes /admin/ i /private/.

• Allow: Permet l'accés a una URL específica dins d'una carpeta desautoritzada.
• Sitemap: Indica la ubicació del fitxer sitemap XML.

En aquest exemple:

• User-agent: Googlebot aplica les regles només al robot de Google.
• Disallow: /no-google/ impedeix que Googlebot rastregi la carpeta /no-google/.
• User-agent: * aplica les regles a tots els robots de cerca.
• Disallow: /private/ impedeix que tots els robots rastregin la carpeta /private/.
• Allow: /private/public-page.html permet l'accés a una pàgina específica dins de la carpeta desautoritzada.
• Sitemap: https://www.example.com/sitemap.xml indica la ubicació del fitxer sitemap XML.

1. Ubicació correcta: Col·loca el fitxer robots.txt a la carpeta arrel del teu lloc web (per exemple, https://www.example.com/robots.txt).
2. Revisió regular: Actualitza el fitxer robots.txt regularment per assegurar-te que reflecteix els canvis en l'estructura del teu lloc web.
3. Evitar errors: Assegura't que les directives no bloquegin pàgines importants per al SEO.
4. Utilitzar eines de validació: Utilitza eines com Google Search Console per verificar que el fitxer robots.txt funciona correctament.

Crea un fitxer robots.txt per a un lloc web fictici amb les següents especificacions:

• Bloqueja l'accés a la carpeta /admin/ per a tots els robots.
• Permet l'accés a la pàgina /admin/public-info.html dins de la carpeta bloquejada.
• Bloqueja l'accés a la carpeta /temp/ només per al robot de Bing.
• Inclou la ubicació del fitxer sitemap XML a https://www.fictici.com/sitemap.xml.

El fitxer robots.txt és una eina poderosa per controlar com els motors de cerca interactuen amb el teu lloc web. Una configuració adequada pot ajudar a optimitzar el rendiment del teu lloc web i protegir informació sensible. Assegura't de seguir les bones pràctiques i revisar regularment el teu fitxer robots.txt per mantenir-lo actualitzat i efectiu.