Чӣ тавр ба хориҷ як сомона ва ё пораҳои он аз шохиси Google

Бино ба консепсияи индексатсияи, ки аз тарафи Google, ҳисоб карда, барои пурра, холисї иттилоот ва мувофиқати он ба дархости ҷустуҷӯӣ дар додани натиҷаҳои. Агар индекси афтад сомона бо маводи ғайриқонунӣ, ё захираҳои барои спам, саҳифаҳои сомонаи мазкур нашавад, дар умумӣ муҳаррики Ҷустуҷӯи пойгоҳи ишора. Барои мо муҳим аст, ки ба ёд , ки чӣ тавр ба хориҷ як сомонаи аз додани натиҷаҳои сервер ҷустуҷӯ.

Гунаҳои аз сифр индексатсияи Google

Пас робот Ҷустуҷӯи - як барнома оид ба ҷамъ кардани маълумот оиди захирањои нав - хоҳад саҳифаи сомона аз тарафи саҳифаи скан, он гоҳ, ки чун назди талаботи сиёсати Google, барои барчасбҳо, он индексатсия карда мешавад. Вале мо низ ба шумо нишон чӣ тавр ба хориҷ сайт ё пораҳои худро барои системаҳои ҷустуҷӯӣ ба воситаи robots.txt - индекси ва ҷустуҷӯ дар айни замон ягона.

Барои хориљ шудани онњо аз додани захираҳои дар маҷмӯъ, дар феҳристи решаи сервер, ки дар он сомона љойгир аст, меорад ноҳияи матни муайян - гуфт robots.txt. Ин озоди аст, ки бо системаҳои ҷустуҷӯӣ мувофиқи дастурҳо хонда муносибат ва рафтор.

Дар хотир доред, ки нишондиҳандаҳои системаи ҷустуҷӯии Google саҳифа, ҳатто агар истифодабаранда дастрасӣ дорад, ба Дидани манъ карданд. Вақте ки браузери бо 401 ё 403 ҷавоб «Дастрасӣ нодуруст аст», он танҳо барои меҳмонон, на аз барномаҳое, ки барои ин гирд муҳаррики Ҷустуҷӯи.

Барои фаҳмидани он ки чӣ тавр ба хориҷ сомонаи аз индексатсияи системаи ҷустуҷӯии, ки нишоннамои матн бояд сатрҳои зерин дохил:

Корбар-агенти: Googlebot

Иозат: /

Ин нишон медиҳад, ки ба crawler ба индекси манъи ҳама мундариҷаи дар сомона. Дар ин ҷо буд , ки чӣ тавр ба хориҷ як сайти Google, ба тавре ки охирин тавр захираҳои дар рӯйхат кеш нест, ошкор шуд.

Embodiments аз бознигарии барои протоколҳои гуногун

Агар ба шумо лозим аст ба феҳраст меъёрҳои алоќа инфиродӣ, ки барои он шумо мехоҳед, ки ќоидањои махсус барои намоябандӣ ба Google, барои мисол, дар алоҳидагӣ барои ҳиперматнии протоколҳои HTTP / HTTPS, ҳамчунин зарур аст, ки ба қайд гирифта, дар robots.txt дар роҳи зерин (намуна).

(Http://yourserver.com/robots.txt) - номи домейн аз сомонаи шумо (ягон)

Корбар-агенти: * - ягон системаи ҷустуҷӯии

Иҷозат: / - имкон индексатсияи пурра

Чӣ тавр ба хориҷ сомона аз додани пурра протокол HTTPS ба

(Https://yourserver.com/robots.txt):

Корбар-агенти: *

Иозат: / манъи пурра оид ба индексатсияи

нишониҳои захираҳои эҳтиётӣ URL- Expedited аз Google SERPs

Агар шумо нахоҳед, ки барои аз нав индексатсияи интизор, ва сайти шумо мехоҳед, ки ба мисли пинҳон, ман тавсия истифода http://services.google.com/urlconsole/controller хизматрасонӣ зудтар. robots.txt пеш дорад, ки дар Решаи феҳрист сервери сомона ҷойгир карда шавад. Бояд дастурҳои дахлдор муқаррар менамояд.

Агар нишоннамои барои баъзе аз сабаби метавонад дар феҳристи реша карда намешавад таҳрир, онро кофӣ дар папкаи бо ҳадафи, ки шумо мехоҳед, ки ба пинҳон, аз системаҳои ҷустуҷӯӣ аст. Вақте ки шумо ин корро ва руҷӯъ ба хизматрасонии худкор кушода нишониҳои ҳиперматнии, Google хоҳад папкаҳо, ки тадбиқ аз як камбудӣ дар robots.txt скан нест.

Дар давраи мазкур invisibility барои 3 моҳ муқаррар карда мешавад. Баъд аз ин давра, феҳрист гирифта, аз масъала, боз хоҳад сервер Google коркард шавад.

Н ow ба хориҷ сомона ба скан ќисман

Вақте, ки боти Ҷустуҷӯи хониши мӯҳтавои robots.txt, ки қарорҳои муайян шудаанд, дар асоси мазмуни он дод. Биё мегӯянд, ки шумо мехоҳед, ки ба хориљ шудани онњо аз нишон додани тамоми феҳристи даъват anatom. Ин кофӣ аст, ки ба муқаррар чунин қоидаҳои:

Корбар-агенти: Googlebot

Иозат: / anatom

Ё, масалан, шумо ба нест, индекс ҳамаи намудҳои симои .gif мехоҳанд. Барои ин кор, илова рӯйхати зерин:

Корбар-агенти: Googlebot

Иозат: /*.gif$

Дар ин ҷо боз як мисол аст. Бигзор онҳо аз таҷзияи маълумот дар саҳифаҳои динамикӣ тавлидшуда нест, дар ҳоле ки илова ба намуди вурудотро шохиси:

Корбар-агенти: Googlebot

Иозат: / *?

Ин дар бораи, ва азоимхонӣ берун аз қоидаҳои системаҳои ҷустуҷӯӣ аст. Чизи дигар он аст, ки дар он аст, хеле қулай танҳо барои истифода бурдани ин теги Meta. Ва webmasters аксар истифода танҳо чунин як стандарти танзими фаъолияти мошинаҳои ҷустуҷӯии. Вале Мо аз ин, ки дар моддаҳои оянда дида мебароем.