Setul de reguli noindex din robots.txt a fost pentru o bună perioadă de timp artificiul la care administratorii de site apelau atunci când voiau să direcționeze indexarea conținutului online.
Pe scurt, cu ajutorul directivelor crawl-delay, noindex și nofollow spunem ce, când și cum să fie indexat din întreg conținutul unui website. O practică la îndemâna oricui și o soluție rapidă pentru aplicarea unor strategii de optimizare SEO off-page.
Vezi care sunt practicile SEO off-page recomandate în 2019.
Pare complicat, dar nu este. Aceste reguli se scriu în fișierul robots.txt, cel care este accesat de Google atunci când este analizat site-ul tău.
Crawl-delay, noindex și nofollow îi spun motorului de căutare care sunt paginile care vor fi afișate în rezultatele Google. Sau mai bine zis, îi spun algoritmului de căutare ce să nu considere atunci când indexează pagini și link-uri dintr-un site.
După cum am spus, o practică destul de intuitivă prin care se controlează indexarea conținutului online.
Dar, începând cu 1 septembrie 2019 toate acestea se vor schimba.
Nu uita nici de schimbările publicate de Google pentru algoritmii Page Quality Rating.
Google schimbă politica de interpretare a setului de reguli noindex din robots.txt
Ei bine, da. Ceea ce era așteptat de câțiva ani se va întâmpla în toamna aceasta.
Google tocmai a anunțat oficial că renunță la suportul pentru regulile noindex prezente în fișierele robots.txt.
Oricum, Google nu a oferit niciodată un suport oficial pentru aceste reguli, însă până anul acesta a ținut cont de ele. Link-urile din sitemap care purtau în fișierul robots.txt directivele crawl-delay, noindex și nofollow erau excluse din indexare. Cel puțin în cele mai multe cazuri.
Conform cu tweet-ul din imaginea de mai sus, toate regulile scrise în robots.txt trebuie rescrise începând cu 1 septembrie 2019.
Mai mult, dezvoltatorii Google au publicat un comunicat oficial care oferă detalii suplimentare. Poți accesa comunicatul Google aici.
Dar, de ce ar trebui să ne intereseze aceste schimbări? Pe scurt, pentru a păstra structura clară a site-ului și pentru a avea în continuare rezultate bune în poziționarea organică. Și dacă cunoști câte ceva despre SEO știi cu siguranță despre ce vorbesc.
Așadar, schimbă structura fișierului robots.txt până în septembrie și renunță la setul de reguli noindex din robots.txt.
Cum vei controla indexarea site-ului tău începând de anul acesta?
Stai liniștit, Google ne-a oferit deja toate soluțiile de care avem nevoie.
Reinterpretarea setului de reguli noindex din robots.txt
Vei putea comunica în continuare cu algoritmii de indexare controlați de Google. Însă, o vei face prin intermediul altor metode. Nu te îngrijora, nu va trebui să reinventezi roata. Toate aceste soluții există deja și pot fi oricând folosite pentru a exclude link-uri din indexarea organică.
Iată o scurtă listă a serviciilor care te ajută în acest sens:
- Specifici noul set de directive noindex în meta tagurile pentru roboții Google.
- Folosești coduri specifice pentru indexarea paginilor: codurile HTTP 404 și 410 vor transmite motoarelor de căutare paginile care trebuie să iasă din procesul de indexare.
- Protecție prin parolă: un conținut protejat prin sistem de log in cu parolă nu va fi indexat de Google.
- Disallow în robots.txt: o pagină blocată prin directiva disallow nu va fi indexată de Google. O parte a conținutului poate fi însă văzut de motoarele de căutare atunci când este legat prin link-uri de alte pagini ale site-ului. Google promite însă că-și va îmbunătăți acest serviciu în curând.
- Search Console: în consola de administrare a site-ului tău, denumită sugestiv Search Console, ai posibilitatea de a scoate un link din indexarea Google. Pe scurt, în Search Console poți folosi serviciul de blocare a adresei URL.
Află cum te poate ajuta Search Console să optimizezi site-ul tău WordPress.
Când să ai grijă de managementul link-urilor site-ului tău
Structura unui site este cuprinsă în sitemap. Acesta este inclus în fișierul robots.txt, unde îi spunem motorului de căutare dacă indexarea este permisă, sau nu. Google va accesa fișierul robots.txt, va interpreta regulile pe care le-am setat și mai apoi va parcurge sitemap-ul. Acesta este procesul, explicat pe scurt, prin care un site este analizat.
Un link stricat, sau o pagină care nu există generează erori de indexare. Nerezolvate, acestea pot determina penalizări ale site-ului.
În plus, pot exista pagini cu conținut pe care nu îl vrei public – spre exemplu, conținut duplicat. Acest conținut, de regulă, influențează și el poziționarea organică a site-ului. Așadar, o să vrei să gestionezi bine atât structura unui sitemap, dar și URL-urile care urmează să fie indexate de Google.
Și, începând din septembrie modul prin care faci aceste lucruri se schimbă. Aplică modificările menționate mai sus din timp pentru a preveni penalizări ulterioare.
Nu uita să urmezi cele mai bune practici SEO on și off page și furnizează doar conținut de calitate.
Urmărește mereu rapoartele Search Console și Google Analytics. De acolo vei obține informații despre erorile de indexare și despre managementul link-urilor din sitemap. Evident, plecând de la aceste rapoarte va trebui să acționezi. Fii mereu cu un pas înaintea problemelor și asigură cea mai bună experiență pentru utilizatorul final.
