ਸੇਮਲਟ: ਦਾਰੋਡਰ ਰੋਬੋਟਸ.ਟੀਐਕਸਟ ਨੂੰ ਕਿਵੇਂ ਬਲੌਕ ਕਰਨਾ ਹੈ

ਰੋਬੋਟਸ.ਟੈਕਸਟ ਫਾਈਲ ਇੱਕ ਖਾਸ ਟੈਕਸਟ ਫਾਈਲ ਹੈ ਜਿਸ ਵਿੱਚ ਨਿਰਦੇਸ਼ ਦਿੱਤੇ ਗਏ ਹਨ ਕਿ ਕਿਵੇਂ ਵੈਬ ਕ੍ਰੌਲਰ ਜਾਂ ਬੋਟਸ ਇੱਕ ਸਾਈਟ ਨੂੰ ਕ੍ਰੌਲ ਕਰਨਾ ਚਾਹੀਦਾ ਹੈ. ਉਨ੍ਹਾਂ ਦੀ ਅਰਜ਼ੀ ਸਰਚ ਇੰਜਨ ਬੋਟਾਂ ਵਿੱਚ ਸਪੱਸ਼ਟ ਹੈ ਜੋ ਕਿ ਕਈ ਅਨੁਕੂਲ ਵੈੱਬਸਾਈਟਾਂ ਵਿੱਚ ਆਮ ਹਨ. ਰੋਬੋਟ ਐਕਸਜਿ Protਸ਼ਨ ਪ੍ਰੋਟੋਕੋਲ (ਆਰਈਪੀ) ਦੇ ਹਿੱਸੇ ਵਜੋਂ, ਰੋਬੋਟਸ.ਟੀਐਕਸਟੀ ਫਾਈਲ ਵੈਬਸਾਈਟ ਦੀ ਸਮਗਰੀ ਨੂੰ ਇੰਡੈਕਸ ਕਰਨ ਦੇ ਨਾਲ ਨਾਲ ਉਪਭੋਗਤਾ ਦੀਆਂ ਬੇਨਤੀਆਂ ਨੂੰ ਪ੍ਰਮਾਣਿਤ ਕਰਨ ਲਈ ਸਰਵਰ ਨੂੰ ਸਮਰੱਥ ਬਣਾਉਣ ਦਾ ਇੱਕ ਜ਼ਰੂਰੀ ਪਹਿਲੂ ਬਣਾਉਂਦੀ ਹੈ.

ਜੂਲੀਆ ਵਾਸ਼ਨੇਵਾ, ਸੇਮਲਟ ਸੀਨੀਅਰ ਗਾਹਕ ਸਫਲਤਾ ਪ੍ਰਬੰਧਕ, ਦੱਸਦੀ ਹੈ ਕਿ ਲਿੰਕ ਕਰਨਾ ਖੋਜ ਇੰਜਨ Opਪਟੀਮਾਈਜ਼ੇਸ਼ਨ (ਐਸਈਓ) ਦਾ ਇੱਕ ਪਹਿਲੂ ਹੈ, ਜਿਸ ਵਿੱਚ ਤੁਹਾਡੇ ਸਥਾਨ ਦੇ ਅੰਦਰ ਹੋਰ ਡੋਮੇਨਾਂ ਤੋਂ ਟ੍ਰੈਫਿਕ ਹਾਸਲ ਕਰਨਾ ਸ਼ਾਮਲ ਹੁੰਦਾ ਹੈ. ਲਿੰਕ ਦਾ ਜੂਸ ਟ੍ਰਾਂਸਫਰ ਕਰਨ ਲਈ "ਫਾਲੋ" ਲਿੰਕਾਂ ਲਈ, ਤੁਹਾਡੀ ਵੈਬਸਾਈਟ ਹੋਸਟਿੰਗ ਸਪੇਸ 'ਤੇ ਇਕ ਰੋਬੋਟਸ.ਟੀ.ਐੱਸ.ਟੀ.ਐੱਸ. ਫਾਈਲ ਨੂੰ ਸ਼ਾਮਲ ਕਰਨਾ ਲਾਜ਼ਮੀ ਹੈ ਕਿ ਸਰਵਰ ਤੁਹਾਡੀ ਸਾਈਟ ਨਾਲ ਕਿਵੇਂ ਸੰਪਰਕ ਕਰਦਾ ਹੈ ਦੇ ਇੰਸਟ੍ਰਕਟਰ ਵਜੋਂ ਕੰਮ ਕਰਨ ਲਈ. ਇਸ ਪੁਰਾਲੇਖ ਤੋਂ, ਨਿਰਦੇਸ਼ ਕੁਝ ਖਾਸ ਉਪਭੋਗਤਾ ਏਜੰਟ ਕਿਵੇਂ ਵਿਵਹਾਰ ਕਰਦੇ ਹਨ ਨੂੰ ਇਜਾਜ਼ਤ ਜਾਂ ਅਸਵੀਕਾਰ ਕਰਨ ਦੁਆਰਾ ਮੌਜੂਦ ਹਨ.

ਰੋਬੋਟ.ਟੈਕਸਟ ਫਾਈਲ ਦਾ ਮੁ Forਲਾ ਫਾਰਮੈਟ

ਇੱਕ ਰੋਬੋਟ.ਟੈਕਸਟ ਫਾਈਲ ਵਿੱਚ ਦੋ ਜ਼ਰੂਰੀ ਲਾਈਨਾਂ ਸ਼ਾਮਲ ਹਨ:

ਉਪਭੋਗਤਾ-ਏਜੰਟ: [ਉਪਭੋਗਤਾ-ਏਜੰਟ ਦਾ ਨਾਮ]

ਅਸਵੀਕਾਰ ਕਰੋ: [URL ਸਤਰ ਨੂੰ ਨਹੀਂ ਲੰਘਣਾ ਚਾਹੀਦਾ]

ਇੱਕ ਪੂਰੀ ਰੋਬੋਟ.ਟੈਕਸਟ ਫਾਈਲ ਵਿੱਚ ਇਹ ਦੋ ਲਾਈਨਾਂ ਹੋਣੀਆਂ ਚਾਹੀਦੀਆਂ ਹਨ. ਹਾਲਾਂਕਿ, ਉਨ੍ਹਾਂ ਵਿੱਚੋਂ ਕੁਝ ਵਿੱਚ ਉਪਭੋਗਤਾ-ਏਜੰਟਾਂ ਅਤੇ ਨਿਰਦੇਸ਼ਾਂ ਦੀਆਂ ਕਈ ਲਾਈਨਾਂ ਹੋ ਸਕਦੀਆਂ ਹਨ. ਇਹਨਾਂ ਕਮਾਂਡਾਂ ਵਿੱਚ ਉਹ ਪਹਿਲੂ ਹੋ ਸਕਦੇ ਹਨ ਜਿਵੇਂ ਇਜਾਜ਼ਤ, ਅਸਵੀਕਾਰ ਜਾਂ ਕ੍ਰਾਲ-ਦੇਰੀ. ਇੱਥੇ ਅਕਸਰ ਇੱਕ ਲਾਈਨ ਬਰੇਕ ਹੁੰਦਾ ਹੈ ਜੋ ਨਿਰਦੇਸ਼ਾਂ ਦੇ ਹਰੇਕ ਸਮੂਹ ਨੂੰ ਵੱਖ ਕਰਦਾ ਹੈ. ਆਗਿਆ ਦੇਣ ਜਾਂ ਨਾ-ਮਨਜ਼ੂਰ ਕਰਨ ਵਾਲੀ ਹਰ ਹਦਾਇਤ ਨੂੰ ਇਸ ਲਾਈਨ ਬਰੇਕ ਨਾਲ ਵੱਖ ਕੀਤਾ ਜਾਂਦਾ ਹੈ, ਖ਼ਾਸਕਰ ਰੋਬੋਟਸ.ਟੀ.ਐੱਸ ਟੀ ਐੱਸ ਲਈ ਕਈ ਲਾਈਨਾਂ ਨਾਲ.

ਉਦਾਹਰਣ

ਉਦਾਹਰਣ ਦੇ ਲਈ, ਇੱਕ ਰੋਬੋਟਸ.ਟੀ.ਐਕਸ ਫਾਈਲ ਵਿੱਚ ਕੋਡ ਸ਼ਾਮਲ ਹੋ ਸਕਦੇ ਹਨ:

ਉਪਭੋਗਤਾ-ਏਜੰਟ: ਡਰੋਡਰ

ਅਸਵੀਕਾਰ: / ਪਲੱਗਇਨ

ਅਸਵੀਕਾਰ ਕਰੋ: / API

ਅਸਵੀਕਾਰ: / _ ਟਿੱਪਣੀਆਂ

ਇਸ ਸਥਿਤੀ ਵਿੱਚ, ਇਹ ਇੱਕ ਬਲਾਕ ਰੋਬੋਟ.ਟੈਕਸਟ ਫਾਈਲ ਹੈ ਜੋ ਦਰੋੜ ਵੈਬ ਕ੍ਰਾਲਰ ਨੂੰ ਤੁਹਾਡੀ ਵੈਬਸਾਈਟ ਤੇ ਪਹੁੰਚਣ ਤੇ ਪਾਬੰਦੀ ਲਗਾਉਂਦੀ ਹੈ. ਉਪਰੋਕਤ ਸੰਟੈਕਸ ਵਿੱਚ, ਕੋਡ ਵੈਬਸਾਈਟ ਦੇ ਪਹਿਲੂਆਂ ਨੂੰ ਬਲੌਕ ਕਰਦਾ ਹੈ ਜਿਵੇਂ ਕਿ ਪਲੱਗਇਨ, ਏਪੀਆਈ, ਅਤੇ ਟਿੱਪਣੀਆਂ ਭਾਗ. ਇਸ ਗਿਆਨ ਤੋਂ, ਰੋਬੋਟ ਦੀ ਟੈਕਸਟ ਫਾਈਲ ਨੂੰ ਪ੍ਰਭਾਵਸ਼ਾਲੀ utingੰਗ ਨਾਲ ਚਲਾਉਣ ਦੇ ਬਹੁਤ ਸਾਰੇ ਫਾਇਦੇ ਪ੍ਰਾਪਤ ਕਰਨਾ ਸੰਭਵ ਹੈ. ਰੋਬੋਟਸ.ਟੈਕਸਟ ਫਾਈਲਾਂ ਕਈ ਫੰਕਸ਼ਨਾਂ ਕਰਨ ਦੇ ਯੋਗ ਹੋ ਸਕਦੀਆਂ ਹਨ. ਉਦਾਹਰਣ ਲਈ, ਉਹ ਇਸ ਲਈ ਤਿਆਰ ਹੋ ਸਕਦੇ ਹਨ:

1. ਇਕ ਵੈਬਸਾਈਟ ਪੇਜ ਵਿਚ ਸਾਰੇ ਵੈਬ ਕ੍ਰੌਲਰ ਸਮਗਰੀ ਦੀ ਆਗਿਆ ਦਿਓ. ਉਦਾਹਰਣ ਦੇ ਲਈ;

ਉਪਭੋਗਤਾ-ਏਜੰਟ: *

ਨਾਮਨਜ਼ੂਰ:

ਇਸ ਸਥਿਤੀ ਵਿੱਚ, ਕਿਸੇ ਵੀ ਵੈਬ ਕ੍ਰੌਲਰ ਦੁਆਰਾ ਇੱਕ ਵੈਬਸਾਈਟ ਤੇ ਜਾਣ ਲਈ ਬੇਨਤੀ ਕੀਤੀ ਜਾ ਰਹੀ ਹੈ, ਦੁਆਰਾ ਸਾਰੇ ਉਪਭੋਗਤਾ ਸਮੱਗਰੀ ਨੂੰ ਵੇਖਿਆ ਜਾ ਸਕਦਾ ਹੈ.

2. ਇੱਕ ਖਾਸ ਫੋਲਡਰ ਤੋਂ ਇੱਕ ਖਾਸ ਵੈੱਬ ਸਮਗਰੀ ਨੂੰ ਬਲਾਕ ਕਰੋ. ਉਦਾਹਰਣ ਲਈ;

ਉਪਭੋਗਤਾ-ਏਜੰਟ: ਗੂਗਲਬੋਟ

ਨਾਮਨਜ਼ੂਰੀ: / ਉਦਾਹਰਣ-ਸਬਫੋਲਡਰ /

ਇਹ ਸੰਟੈਕਸ ਉਪਭੋਗਤਾ-ਏਜੰਟ ਨਾਮ ਵਾਲੀ Googlebot ਗੂਗਲ ਨਾਲ ਸਬੰਧਤ ਹੈ. ਇਹ ਬੋਟ ਨੂੰ www.ourexample.com/example-subfolder/ ਵਿੱਚ ਸਤਰ ਦੇ ਕਿਸੇ ਵੀ ਵੈਬ ਪੇਜ ਤੇ ਪਹੁੰਚਣ ਤੋਂ ਰੋਕਦਾ ਹੈ.

3. ਇੱਕ ਖਾਸ ਵੈੱਬ ਪੇਜ ਤੋਂ ਇੱਕ ਖਾਸ ਵੈੱਬ ਕਰੌਲਰ ਨੂੰ ਬਲੌਕ ਕਰੋ. ਉਦਾਹਰਣ ਲਈ;

ਉਪਭੋਗਤਾ-ਏਜੰਟ: ਬਿੰਗਬੋਟ

ਨਾਮਨਜ਼ੂਰ ਕਰੋ: /example-subfolder/blocked-page.html

ਉਪਭੋਗਤਾ-ਏਜੰਟ ਬਿੰਗ ਬੋਟ ਬਿੰਗ ਵੈਬ ਕ੍ਰਾਲਰ ਨਾਲ ਸਬੰਧਤ ਹੈ. ਇਸ ਕਿਸਮ ਦੀ ਰੋਬੋਟ.ਟੈਕਸਟ ਫਾਈਲ, ਬਿੰਗ ਵੈਬ ਕ੍ਰੌਲਰ ਨੂੰ www.ourexample.com/example-subfolder/blocked- ਪੇਜ ਦੇ ਸਤਰ ਦੇ ਨਾਲ ਇੱਕ ਖ਼ਾਸ ਪੇਜ ਤੱਕ ਪਹੁੰਚਣ ਤੋਂ ਪਾਬੰਦੀ ਲਗਾਉਂਦੀ ਹੈ.

ਮਹੱਤਵਪੂਰਣ ਜਾਣਕਾਰੀ

  • ਹਰ ਉਪਭੋਗਤਾ ਤੁਹਾਡੀ robts.txt ਫਾਈਲ ਦੀ ਵਰਤੋਂ ਨਹੀਂ ਕਰਦਾ. ਕੁਝ ਉਪਭੋਗਤਾ ਇਸ ਨੂੰ ਨਜ਼ਰ ਅੰਦਾਜ਼ ਕਰਨ ਦਾ ਫੈਸਲਾ ਕਰ ਸਕਦੇ ਹਨ. ਅਜਿਹੇ ਬਹੁਤ ਸਾਰੇ ਵੈੱਬ ਕਰਾਲਰਾਂ ਵਿੱਚ ਟਰੋਜਨ ਅਤੇ ਮਾਲਵੇਅਰ ਸ਼ਾਮਲ ਹੁੰਦੇ ਹਨ.
  • ਰੋਬੋਟਸ.ਟੀ.ਐੱਚ.ਐੱਸ.ਐੱਸ.ਐੱਸ. ਫਾਈਲ ਨੂੰ ਵੇਖਣ ਲਈ, ਇਹ ਚੋਟੀ-ਪੱਧਰ ਦੀ ਵੈਬਸਾਈਟ ਡਾਇਰੈਕਟਰੀ ਵਿੱਚ ਉਪਲਬਧ ਹੋਣੀ ਚਾਹੀਦੀ ਹੈ.
  • ਅੱਖਰ "ਰੋਬੋਟ.ਟੈਕਸਟ" ਕੇਸ ਸੰਵੇਦਨਸ਼ੀਲ ਹੁੰਦੇ ਹਨ. ਨਤੀਜੇ ਵਜੋਂ, ਤੁਹਾਨੂੰ ਉਨ੍ਹਾਂ ਨੂੰ ਕਿਸੇ ਵੀ ਪਹਿਲੂ ਦੇ ਪੂੰਜੀਕਰਣ ਸਮੇਤ ਕਿਸੇ ਵੀ ਤਰਾਂ ਬਦਲਣਾ ਨਹੀਂ ਚਾਹੀਦਾ.
  • "/Robots.txt" ਸਰਵਜਨਕ ਡੋਮੇਨ ਹੈ. ਜਦੋਂ ਕੋਈ ਵੀ ਯੂਆਰਐਲ ਦੀ ਸਮੱਗਰੀ ਨੂੰ ਜੋੜ ਕੇ ਕੋਈ ਵੀ ਵਿਅਕਤੀ ਇਸ ਜਾਣਕਾਰੀ ਨੂੰ ਲੱਭ ਸਕਦਾ ਹੈ. ਤੁਹਾਨੂੰ ਜ਼ਰੂਰੀ ਵੇਰਵੇ ਜਾਂ ਪੰਨਿਆਂ ਨੂੰ ਇੰਡੈਕਸ ਨਹੀਂ ਕਰਨਾ ਚਾਹੀਦਾ ਜੋ ਤੁਸੀਂ ਚਾਹੁੰਦੇ ਹੋ ਕਿ ਉਹ ਨਿਜੀ ਰਹੇ.