Cum să eliminați Robots.txt din WordPress

Doriți să eliminați robots.txt din WordPress ? Fișierul robots.txt este esențial pentru a bloca roboții motoarelor de căutare să indexeze anumite pagini ale site-ului dvs. Dar dacă nu este configurat corect, acest lucru poate cauza probleme site-ului dvs., așa că poate fi necesar să îl eliminați.

Așadar, înainte de a aborda procesul de eliminare, trebuie să înțelegeți mai clar fișierul robots.txt și de ce ar putea fi necesar să îl eliminați.

Ce este Robots.txt?

Robots.txt este un fișier al site-ului dvs. WordPress, care conține liniile directoare pentru roboții motoarelor de căutare pe care zone sau pagini ale site-ului dvs. ar trebui indexate și accesate cu crawlere . De asemenea, informează motoarele de căutare folosind reguli și instrucțiuni specifice dacă paginile și secțiunile site-ului dvs. ar trebui indexate.

Dacă luăm în considerare un exemplu real, crawlerele web de la Google, cunoscute și sub numele de Googlebot, analizează în mod regulat site-urile web pentru a-și menține indexul paginilor la zi. Aceste crawler-uri web urmează instrucțiunile prezentate în fișierul robots.txt în timp ce scanează site-ul web. Apoi, ei indexează și accesează cu crawlere paginile și zonele site-ului dvs. în conformitate cu instrucțiunile menționate în fișierul robots.txt.

În același mod, roboții motoarelor de căutare ale tuturor celorlalte crawler-uri web bine-cunoscute indexează și accesează cu crawlere site-ul dvs. folosind fișierul robots.txt. Fișierul este util pentru a restricționa accesul roboților în anumite zone, pagini sau directoare ale site-ului web. Dar, în același timp, puteți beneficia de eliminarea sau dezactivarea fișierului robots.txt de pe site-ul dvs. WordPress în unele cazuri.

De ce ar trebui să eliminați Robots.txt din WordPress?

Există multe motive pentru a lua în considerare eliminarea sau dezactivarea fișierului robots.txt de pe site-ul dvs. WordPress. Iată câteva dintre ele:

• Restricții neintenționate: fișierul robots.txt poate conține uneori reguli care restricționează neintenționat accesarea crawlerilor motoarelor de căutare a paginilor sau secțiunilor esențiale ale site-ului dvs. Acest lucru poate afecta negativ vizibilitatea site-ului dvs. în rezultatele motoarelor de căutare și poate afecta clasarea site-ului dvs.
• Site-uri de dezvoltare sau de organizare: dacă aveți un site de dezvoltare sau de organizare în scopuri de testare, este posibil să nu doriți ca motoarele de căutare să indexeze aceste site-uri. Deci, dacă eliminați fișierul robots.txt, vă puteți asigura că crawlerele motoarelor de căutare nu vor indexa sau nu vor afișa aceste site-uri în rezultatele căutării. Acest lucru vă permite să vă concentrați pe testarea și îmbunătățirea site-ului dvs. în timpul procesului de dezvoltare și testare timpurie, fără riscul ca acesta să fie vizibil pentru utilizatori în mod public.
• Indexare îmbunătățită: crawlerele motoarelor de căutare pot accesa și indexa liber paginile și conținutul site-ului dvs. atunci când eliminați fișierul robots.txt. Astfel, ei pot descoperi și include o gamă mai largă de conținut al site-ului dvs. în indexul lor. Acest lucru poate fi benefic dacă doriți să asigurați vizibilitate și descoperire maximă a conținutului site-ului dvs.
• Conflicte de pluginuri: conflictele dintre anumite pluginuri ale site-ului dvs. WordPress și fișierul robots.txt pot duce uneori la probleme sau erori neașteptate. Prin urmare, eliminarea fișierului robots.txt poate ajuta la rezolvarea unor astfel de conflicte și poate asigura buna funcționare a site-ului dvs. WordPress.

Cu toate acestea, este important să rețineți că eliminarea fișierului robots.txt nu este o decizie care trebuie luată cu ușurință și, de obicei, nu este recomandată. Luați în considerare implicațiile și consultați-vă cu un expert înainte de a continua dacă nu sunteți sigur de impactul acestuia asupra performanței SEO a site-ului dvs. web.

Cum să eliminați Robots.txt din WordPress

Puteți elimina sau dezactiva fișierul robots.txt din WordPress în două moduri principale :

1. Utilizarea clientului FTP
2. cPanel

Vom parcurge aceste metode în detaliu cu un ghid pas cu pas pentru eliminarea robots.txt din WordPress. Ambele moduri sunt similare unul cu celălalt. Dar mai întâi trebuie să accesați FTP-ul sau cPanel-ul site-ului dvs.

Notă: înainte de a elimina fișierul robots.txt de pe site-ul dvs. web, asigurați-vă că faceți o copie a acestuia. Apoi, puteți încărca din nou fișierul original pe site-ul dvs. dacă faceți modificări neintenționate în timpul procedurii, ceea ce poate duce la erori sau erori.

1. Eliminați Robots.txt utilizând clientul FTP

Utilizarea unui client FTP pentru a elimina robots.txt de pe site-ul dvs. WordPress este ușor. Puteți accesa FTP pentru WordPress folosind un client FTP precum FileZilla sau Cyberduck. Apoi, puteți începe să editați fișierele site-ului dvs. folosindu-l.

Vom folosi clientul FTP FileZilla pentru acest tutorial pe care îl puteți descărca și instala pe computer de pe site-ul lor. Dar sunteți liber să utilizați orice client FTP care vă place. Pașii sunt aproape identici unul cu celălalt.

După ce instalați clientul FTP, trebuie să vă conectați site-ul web la clientul FTP. Deci, deschideți aplicația FileZilla pe computer și accesați Fișier > Manager site din colțul din stânga sus al barei de meniu. De asemenea, puteți utiliza comanda rapidă de la tastatură Ctrl+S de pe tastatură pentru a accesa managerul site-ului.

Apoi, faceți clic pe Site nou și introduceți numele site-ului dvs. sub Site-urile mele .

Acum, deschideți fila General din partea dreaptă a ecranului, unde va trebui să introduceți acreditările pentru a vă conecta site-ul cu clientul FTP. Dacă nu aveți acreditările necesare, puteți solicita furnizorului dvs. de găzduire.

După ce introduceți acreditările, faceți clic pe Conectare .

Acum veți avea acces la directorul de fișiere al site-ului dvs. de unde puteți elimina fișierul robust.txt al site-ului dvs. WordPress. Fișierul robots.txt se află în directorul rădăcină al site-ului dvs., numit și folderul „ public_html ”. Puteți naviga la el utilizând Filezilla Explorer.

După ce găsiți fișierul robots.txt, faceți clic dreapta pe fișier și selectați Ștergere .

Asta este! Ați eliminat cu succes fișierul robots.txt de pe site-ul dvs. WordPress.

2. Eliminați Robots.txt din cPanel

Dacă doriți o abordare mai directă pentru eliminarea manuală a fișierului robots.txt de pe site-ul dvs. WordPress, puteți utiliza cPanel. Tot ce trebuie să faceți este să vă conectați la contul dvs. cPanel folosind linkul oferit de furnizorul dvs. de găzduire. Din nou, puteți contacta furnizorul dvs. de găzduire dacă nu aveți acreditările și detaliile necesare.

După conectarea la cPanel, derulați la secțiunea Fișiere și faceți clic pe Manager fișiere . Acum puteți accesa toate fișierele site-ului dvs. WordPress.

Apoi, navigați la directorul rădăcină sau la folderul „ public_html ”, deoarece fișierul robots.txt este aici. Acum, selectați fișierul robots.txt și faceți clic pe Ștergere din bara de meniu a managerului de fișiere.

Grozav! Fișierul dvs. robots.txt este acum eliminat de pe site-ul dvs. WordPress.

Cum se dezactivează Robots.txt în WordPress?

Abordările menționate mai sus vă pot ajuta să eliminați fișierul robots.txt de pe site-ul dvs. WordPress. Dar de obicei nu este recomandat, deoarece fișierul este foarte important pentru SEO. Deci, dacă doriți o opțiune mai sigură, puteți dezactiva fișierul robots.txt de pe site-ul dvs. WordPress.

Ca rezultat, fișierul robots.txt va fi prezent în directorul de fișiere al site-ului dvs. web, chiar dacă nu vor exista restricții pentru ca roboții motoarelor de căutare să acceseze cu crawlere și să indexeze site-ul dvs. Există mai multe modalități de a dezactiva fișierul robots.txt în WordPress. Puteți face acest lucru direct din tabloul de bord WordPress sau puteți edita manual fișierul folosind un plugin, FTP sau cPanel.

1. Dezactivează Robots.txt din WordPress Dashboard

Este simplu să dezactivați fișierul robots.txt din tabloul de bord WordPress. Tot ce trebuie să faceți este să mergeți la Setări > Citire din tabloul de bord WordPress, să debifați opțiunea Vizibilitate motor de căutare și să salvați modificările .

Aceasta va elimina tot conținutul fișierului robots.txt de pe site-ul dvs. WordPress și îl va schimba în:

 Agent utilizator: *
Nu permiteți:

Prin urmare, acest lucru va împiedica motoarele de căutare să indexeze site-ul dvs. Dar decizia de a onora această solicitare revine motoarele de căutare.

2. Dezactivați Robots.txt folosind un plugin

De asemenea, puteți edita și dezactiva fișierul robots.txt folosind un plugin dacă utilizați deja un plugin SEO de pe site-ul dvs. WordPress. Acest lucru poate economisi mult timp dacă nu doriți ca roboții motoarelor de căutare să vă indexeze site-ul folosind fișierul robots.txt.

Mai multe plugin-uri SEO WordPress vă permit să editați și să dezactivați fișierul robots.txt. Dar vom folosi pluginul Rank Math SEO pentru această demonstrație.

Are o interfață foarte simplă pentru editarea fișierului robots.txt. Acest lucru va face foarte ușor să editați și să eliminați conținutul fișierului robots.txt al site-ului dvs. WordPress pentru a-l dezactiva.

Dacă doriți să utilizați orice alt plugin SEO, puteți face acest lucru. Pașii sunt foarte similari cu fiecare plugin. Deci, trebuie să instalați și să activați pluginul înainte de a începe să îl utilizați.

2.1. Instalați și activați pluginul

Pentru a instala pluginul, accesați Plugins > Adăugați nou din tabloul de bord WordPress și căutați cuvintele cheie ale pluginului. De îndată ce este afișat în rezultatele căutării, faceți clic pe Instalați acum .

Instalarea va fi finalizată în doar câteva secunde. Apoi, faceți clic pe Activare pentru a activa pluginul.

De asemenea, puteți încărca și instala manual pluginul dacă doriți să utilizați orice plugin SEO premium. Vă rugăm să consultați ghidul nostru despre instalarea manuală a unui plugin WordPress dacă aveți nevoie de ajutor.

2.2. Editați și dezactivați fișierul Robots.txt

După ce activați pluginul, accesați Rank Math > Setări generale din tabloul de bord WordPress și deschideți fila Editați fișierul robots.txt . Acest lucru vă va permite să editați codurile și instrucțiunile pe care doriți să le includeți în fișierul robots.txt. Pluginul a oferit chiar aici un editor de text pentru a adăuga sau elimina codurile și instrucțiunile din fișierul robots.txt.

Dacă ați editat acest fișier înainte, este posibil să vedeți mai multe instrucțiuni aici, în funcție de paginile pe care nu doriți ca robotii motorului de căutare să le acceseze cu crawlere și să le indexeze. Pe de altă parte, dacă acesta este fișierul robots.txt implicit creat de WordPress, veți vedea următoarele detalii:

 Agent utilizator: *
Nu permiteți: /wp-admin/
Permite: /wp-admin/admin-ajax.php

Aici, tot ce trebuie să faceți este să eliminați toate codurile suplimentare din fișierul robots.txt și să lăsați fișierul cu următoarele instrucțiuni:

 Agent utilizator: *
Nu permiteți:

După ce adăugați instrucțiunile de mai sus, faceți clic pe Salvare modificări .

Asta este! Ați dezactivat cu succes fișierul robots.txt folosind un plugin.

3. Dezactivați Robots.txt utilizând clientul FTP sau cPanel

Fișierul robots.txt poate fi, de asemenea, dezactivat folosind un client FTP sau cPanel . Pentru această abordare, nu trebuie să eliminați niciun conținut al fișierului robots.txt de pe site-ul dvs. WordPress. Cu toate acestea, trebuie să creați un fișier robots.txt nou folosind orice editor de text și să includeți doar următoarele instrucțiuni :

 Agent utilizator: *
Nu permiteți:

Asigurați-vă că salvați fișierul ca „ robots.txt ”.

Acum tot ce trebuie să faceți este să încărcați și să înlocuiți fișierul robots.txt nou creat cu cel mai vechi folosind un client FTP sau cPanel.

Dacă doriți să utilizați FTP , puteți mai întâi să vă conectați site-ul web cu clientul FTP, urmând pașii menționați în acest ghid. Apoi, încărcați noul fișier robots.txt în directorul rădăcină sau în folderul „ public_html ”.

În mod similar, dacă doriți să utilizați cPanel pentru a dezactiva fișierul robots.txt, puteți mai întâi să vă conectați la contul dvs. cPanel și să deschideți directorul de fișiere . Puteți urma pașii din secțiunea „Eliminați Robots.txt din cPanel” din acest ghid. Apoi, navigați la folderul „ public_html ” și încărcați aici fișierul robots.txt nou creat.

Dacă aveți nevoie de ajutor pentru editarea acestui fișier, consultați ghidul nostru detaliat despre editarea robots.txt în WordPress.

Concluzie

Acestea sunt diferitele metode prin care puteți dezactiva sau elimina fișierul robots.txt de pe site-ul dvs. WordPress . Poate fi util dacă problemele sunt create pe site-ul dvs. din cauza fișierului robots.txt. Eliminarea acestuia vă poate beneficia și dacă site-ul dvs. este în stadiu de dezvoltare sau dacă doriți cu totul o indexare avansată.

Dar, pentru a rezuma, puteți elimina complet fișierul robots.txt de pe site-ul dvs. WordPress folosind două moduri majore:

• Utilizarea clientului FTP
• cPanel

Ambele abordări sunt foarte eficiente în eliminarea fișierului robots.txt de pe site-ul dvs. web. Dar, deoarece acest lucru nu este de obicei recomandat, îl puteți dezactiva și dacă doriți să rămâneți mai în siguranță. Îl puteți dezactiva folosind tabloul de bord WordPress sau îl puteți edita folosind un plugin, FTP sau cPanel.

Deci, puteți elimina sau dezactiva fișierul robots.txt acum? Anunțați-ne dacă ați încercat vreodată.

Între timp, iată câteva ghiduri care vă pot ajuta să vă personalizați sau să vă îmbunătățiți site-ul WordPress:

• Cum se configurează Rank Math SEO? Calea cea buna!
• Eliminați Yoast SEO din baza de date din WordPress
• Cum să îmbunătățiți SEO WordPress