Право robots.txt

Датотека robots.txt е главна датотека кој го опишува обработка на правилата страници на пребарувачите. Оваа датотека е потребно за да се утврдат основните сајт име, мапа на сајтот (sitemap.xml), јавни и приватни делови на сајтот.
Датотека robots.txt ги вклучува следните директиви:

• Корисник-агент Директива ги одредува она што робот следниве правила
• * - сите роботи
• Yandex — главниот робот Yandex
• Googlebot — Googlebot е главната
• StackRambler — пребарувач Rambler
• Aport — Aport пребарување
• Slurp е Yahoo е робот
• MSNBot е на МСН робот
• Забраните Директивата е забрана дел од страницата
• Овозможи — Директивата им дозволува на дел од веб-сајтот
• Домаќин — Директива наведете основното име на сајтот
• Мапа на сајтот— Директива насоки на мапа на сајтот (sitemap.xml)
• Индексирање-одложување Директива ги одредува колку секунди робот може да се чека за одговор од страницата (задолжително за густо набиени ресурси, па робот не сметаат дека сајтот е недостапен)
• Чиста-param Директива за опишување на динамички параметри не влијае на содржината на веб-страница

Помимо директив в robots.txt используются спец символы:

• * - lubi (вклучувајќи празни) низа од знаци
• $ — е ограничување на правилата

За да се компајлира robots.txt употреба на горенаведените насоки и испеана од страна на ликовите како што следува:

• Одредува името на робот на кој е напишан список на правила
  (User-agent: * - правило за сите роботи)
• Се запишува на листата на забранети делови од сајтот за одреден робот
  ( Disallow: / - спречување на индексирање на целиот сајт)
• Се запишува на листата на дозволени пресеци на сајтот
  (Се овозможи: /home/ партиција дома дозволено)
• Одредува името на веб-страница
  (Домаќин: crazysquirrel.ru — главниот името на сајтот crazysquirrel.ru)
• Одредува апсолутна патека до датотеката sitemap.xml
  (Мапа на сајтот: https:// crazysquirrel.ru/sitemap.xml)

Ако веб-страницата нема недозволени теми, robots.txt мора да биде најмалку 4 линии:

Проверете robots.txt и како тоа влијае на индексирање на веб-сајт со користење на алатки Yandex