Back to Question Center
0

Semalt: hoe blokkearje Darodar Robots.txt

1 answers:

Robots.txt-bestân is in typysk tekenriem dat ynstruksjes befettet oer hoe't web-krokkers of bots in webstee krije moatte. Har applikaasje is sichtber yn sykmasjine bots dy't faak binne yn ferskate optimearre websides. As part fan it Robots Exclusion Protocol (REP) biedt robots.txt bestân in essinsjele aspekt fan it yndeksearjen fan webside-ynhâld en tagelyk it mooglik dat in servert de brûkersbefellingen dúdlikens te authentisearjen

Julia Vashneva, de Semalt Senior Client Success Manager, ferklearret dat in keppeling is in aspekt fan Search Engine Optimization (SEO), wêrby't it giet om gewoane ferkear fan oare domeinen yn jo niche. Foar de "folgje" keppelings nei it ferfetsjen fan keppeling sap, is it essensje om in robots.txt-bestân op te nimmen op jo webside hokkerromte om te dwaan as instrukteur fan hoe't de tsjinner mei jo side meiwurket. Ut dit argyf binne de ynstruksjes oanwêzich by it jaan fan of ûntbrekken fan guon guon spesifike brûkersmiddels.

It Basisfoarm fan in robots.txt bestân

In robots.txt bestân befettet twa essinsjele linen:

User-agent: [brûker-agent-namme]

Ferklearje: [URL string net te krûpt]

In folsleine robots.txt-bestân moat dizze twa rigels befetsje. Guon fan harren kinne lykwols meardere rigels fan brûkers-agents en rjochtlinen befetsje. Dizze kommando's kinne aspekten as befetsje, ferlienen of crawl-ferzjes befetsje. Der is normaal in linebrekto dy't elke set fan ynstruksje skiedt. Elk fan 'e ynlade of ferliene ynstruksje wurdt skieden troch dizze line brek, foaral foar de robots.txt mei meardere rigels.

Foarbylden

Bygelyks, in robots.txt-bestân kin koade fine lykas:

User-agent: darodar

Ferklearje: / plugin

Ferklearje: / API

Ferklearje: / _comments

Yn dit gefal is dit in blok robots.txt-bestân wêrby't Darodar webkroller fan jo webside befetsje. Yn it boppesteande syntaksis blokkearje de koade aspekten fan 'e webside lykas plugins, API, en de kommentaardiel. Fan dizze kennis is it mooglik om ferskillende foardielen te realisearjen fanút in teksten fan in robot út te fieren. Robots..txt-bestannen kinne ferskate funksjes útfiere. Sa kinne se bygelyks klear wêze:

1. Jou alle webkrollers ynhâld op in webside. Bygelyks;

User-agent: *

Ferklearje:

Yn dit gefal kinne alle brûkersynhâld tagong wurde troch elke webkrokper dy't frege wurdt om nei in webside te krijen.

2. Blokkearje in spesifike webside fan in spesifike map. Bygelyks;

User-agent: Googlebot

Ferklearje: / foarbyld-subfolder /

Dizze syntaksis mei brûker-agintnamme Googlebot heart ta Google. It beheine de bot om tagong te wêzen fan alle webside yn 'e snaar www.ourexample.com/example-subfolder/.

3. Blokkearje in spesifike webkroller fan in spesifike webside. Bygelyks;

User-agent: Bingbot

Ferbergje: /example-subfolder/blocked-page.html

De brûker-agent Bing bot heart ta Bing web crawlers. Dit type robots.txt-bestân beheind de Bing webserver fan tagong ta in spesifike side mei de string www.ourexample.com/example-subfolder/blocked-page.

Wichtige ynformaasje

  • Net elke brûker brûkt jo robts.txt-bestân. Guon brûkers kinne beslute om it net te bewizen. De measte fan sokke web crawlers binne triemmen en malware.
  • Foar in robots.txt-bestân kin sichtber wêze, it moat beskikber wêze yn it webstee fan top-nivo's
  • De tekens "robots.txt" binne gefoelichens. As gefolch dêrfan moatte jo se net op alle manieren feroarje mei de kapitalisaasje fan guon aspekten.
  • De "/robots.txt" is publike domein. Eltsenien kin dizze ynformaasje kinne fine as jo it oanmeitsje oan de ynhâld fan in URL. Jo moatte gjin belangrike details of siden ynfiere dy't jo wolle dat se privee bliuwe Source .
November 29, 2017