Robots.txt
Cum controlezi ce pagini pot fi accesate și indexate de motoarele de căutare prin fișierul robots.txt.
Ce este robots.txt?
Fișierul robots.txt este un fișier text la adresa afacerea-ta.ro/robots.txt care conține instrucțiuni pentru roboții motoarelor de căutare (Googlebot, Bingbot etc.) despre ce pagini pot sau nu pot accesa.
Robots.txt implicit în FastBiz
FastBiz generează un robots.txt implicit care:
- Permite accesul la toate paginile publice
- Blochează accesul la zonele administrative (
/admin/,/_tenant/etc.) - Include referința la sitemap
User-agent: *
Disallow: /admin/
Disallow: /_tenant/
Sitemap: https://afacerea-ta.ro/sitemap.xml
Editare robots.txt
Poți adăuga reguli personalizate din Site Web → Setări → SEO → Robots.txt.
Blocarea unei pagini
User-agent: *
Disallow: /multumim/
Utilizare tipică: pagini de „mulțumim" după completarea unui formular, pagini interne de test.
Blocarea tuturor roboților
User-agent: *
Disallow: /
Atenție: Blocarea completă a indexării oprește Google să îți afișeze site-ul în rezultate. Folosește această setare doar dacă știi ce faci (ex: site în construcție pe domeniu live).
Robots.txt vs meta noindex
Sunt două mecanisme diferite:
Robots.txt Disallow |
Meta noindex |
|
|---|---|---|
| Blochează accesul | Da — robotul nu vizitează pagina | Nu — robotul o vizitează dar nu o indexează |
| Blochează indexarea | Nu direct (robotul o poate indexa din linkuri externe) | Da — pagina nu va apărea în Google |
| Recomandat pentru | Resurse private, pagini de admin | Pagini de mulțumire, pagini interne fără valoare SEO |
Recomandare: pentru a scoate definitiv o pagină din Google, folosește meta noindex (bifă „Noindex" în secțiunea SEO a paginii), nu robots.txt.