Robots.txt WordPress'ten Nasıl Kaldırılır

robots.txt dosyasını WordPress'ten kaldırmak istiyor musunuz? Robots.txt dosyası, arama motoru botlarının web sitenizin belirli sayfalarını dizine eklemesini engellemek için gereklidir. Ancak doğru yapılandırılmamışsa bu siteniz için sorunlara neden olabilir, bu nedenle kaldırmanız gerekebilir.

Bu nedenle, onu kaldırma işlemine geçmeden önce, robots.txt dosyasını ve onu neden kaldırmanız gerekebileceğini daha net bir şekilde anlamanız gerekir.

Robots.txt nedir?

Robots.txt , WordPress web sitenizin , web sitenizin hangi alanlarının veya sayfalarının dizine eklenmesi ve taranması gerektiği konusunda arama motoru botları için yönergeleri içeren bir dosyadır. Ayrıca, web sitenizin sayfalarının ve bölümlerinin dizine eklenmesi gerekip gerekmediği konusunda belirli kurallar ve talimatlar kullanarak arama motorlarına bilgi verir.

Gerçek dünyadan bir örnek verecek olursak, Googlebot olarak da bilinen Google'ın web tarayıcıları, sayfa dizinlerini güncel tutmak için web sitelerini düzenli olarak analiz eder. Bu web tarayıcıları, web sitesini tararken robots.txt dosyasında belirtilen talimatları izler. Ardından, robots.txt dosyasında belirtilen yönergelere göre web sitenizin sayfalarını ve alanlarını indeksler ve tararlar.

Aynı şekilde, diğer tüm iyi bilinen web tarayıcılarının arama motorları motor botları, robots.txt dosyasını kullanarak web sitenizi dizine ekler ve tarar. Dosya, botların belirli web sitesi alanlarına, sayfalarına veya dizinlerine erişmesini kısıtlamak için kullanışlıdır. Ancak aynı zamanda, bazı durumlarda robots.txt dosyasını WordPress web sitenizden kaldırarak veya devre dışı bırakarak da fayda sağlayabilirsiniz.

Neden Robots.txt'yi WordPress'ten Kaldırmalısınız?

Robots.txt dosyasını WordPress web sitenizden kaldırmayı veya devre dışı bırakmayı düşünmeniz için birçok neden vardır. İşte bunlardan birkaçı:

• İstenmeyen kısıtlamalar: Robots.txt dosyası bazen, arama motoru tarayıcılarının web sitenizin önemli sayfalarına veya bölümlerine erişmesini istemeden kısıtlayan kurallar içerebilir. Bu, sitenizin arama motoru sonuçlarındaki görünürlüğünü olumsuz etkileyebilir ve sitenizin sıralamasını etkileyebilir.
• Geliştirme veya hazırlama siteleri: Test amaçlı bir geliştirme veya hazırlama siteniz varsa, arama motorlarının bu siteleri dizine eklemesini istemeyebilirsiniz. Dolayısıyla, robots.txt dosyasını kaldırırsanız, arama motoru tarayıcılarının bu siteleri dizine eklememesini veya arama sonuçlarında göstermemesini sağlayabilirsiniz. Bu, erken geliştirme ve test sürecinde, sitenizin kullanıcılar tarafından genel olarak görülebilmesi riski olmadan sitenizi test etmeye ve hassaslaştırmaya odaklanmanıza olanak tanır.
• Gelişmiş indeksleme: Arama motoru tarayıcıları, robots.txt dosyasını kaldırdığınızda web sitenizin sayfalarına ve içeriğine serbestçe erişebilir ve indeksleyebilir. Böylece sitenizin daha geniş bir içeriğini keşfedebilir ve dizinlerine dahil edebilirler. Web sitenizin içeriğinin maksimum görünürlüğünü ve keşfedilebilirliğini sağlamak istiyorsanız bu yararlı olabilir.
• Eklenti Çakışmaları: WordPress web sitenizin belirli eklentileri ile robots.txt dosyası arasındaki çakışmalar bazen beklenmeyen sorunlara veya hatalara yol açabilir. Dolayısıyla, robots.txt dosyasının kaldırılması, bu tür çakışmaların çözülmesine ve WordPress sitenizin sorunsuz çalışmasını sağlamaya yardımcı olabilir.

Ancak, robots.txt dosyasının kaldırılmasının hafife alınacak bir karar olmadığını ve genellikle tavsiye edilmediğini unutmamak önemlidir. Etkilerini göz önünde bulundurun ve web sitenizin SEO performansı üzerindeki etkisinden emin değilseniz devam etmeden önce bir uzmana danışın.

Robots.txt WordPress'ten Nasıl Kaldırılır

Robots.txt dosyasını WordPress'ten 2 ana yolla kaldırabilir veya devre dışı bırakabilirsiniz:

1. FTP istemcisini kullanma
2. cPanel

Robots.txt dosyasını WordPress'ten kaldırmak için adım adım bir kılavuzla bu yöntemleri ayrıntılı olarak inceleyeceğiz. Her iki yol da birbirine benzer. Ancak önce web sitenizin FTP'sine veya cPanel'ine erişmelisiniz.

Not: robots.txt dosyasını web sitenizden kaldırmadan önce, lütfen bunun bir kopyasını oluşturduğunuzdan emin olun. Ardından, işlem sırasında yanlışlıkla hata veya hatalara yol açabilecek herhangi bir değişiklik yaparsanız, orijinal dosyayı web sitenize tekrar yükleyebilirsiniz.

1. FTP İstemcisini kullanarak Robots.txt dosyasını kaldırın

Robots.txt dosyasını WordPress web sitenizden kaldırmak için bir FTP istemcisi kullanmak kolaydır. FileZilla veya Cyberduck gibi bir FTP istemcisi kullanarak WordPress için FTP'ye erişebilirsiniz. Ardından, onu kullanarak web sitenizin dosyalarını düzenlemeye başlayabilirsiniz.

Bu eğitim için, web sitelerinden bilgisayarınıza indirip kurabileceğiniz FTP istemcisi FileZilla'yı kullanacağız. Ancak, istediğiniz herhangi bir FTP istemcisini kullanmakta özgürsünüz. Adımlar neredeyse birbirinin aynısıdır.

FTP istemcisini yükledikten sonra, web sitenizi FTP istemcisine bağlamanız gerekir. Bu yüzden bilgisayarınızda FileZilla uygulamasını açın ve menü çubuğunun sol üst köşesinden Dosya > Site Yöneticisi'ne gidin. Site yöneticisine erişmek için klavyenizdeki Ctrl+S klavye kısayolunu da kullanabilirsiniz.

Ardından, Yeni Site'ye tıklayın ve Sitelerim altına web sitenizin adını girin.

Şimdi, ekranınızın sağ tarafında, sitenizi FTP istemcisine bağlamak için kimlik bilgilerini girmeniz gereken Genel sekmesini açın. Gerekli kimlik bilgilerine sahip değilseniz, bunu barındırma sağlayıcınızdan isteyebilirsiniz.

Kimlik bilgilerini girdikten sonra Bağlan'a tıklayın.

Artık, WordPress web sitenizin sağlam.txt dosyasını kaldırabileceğiniz web sitenizin dosya dizinine erişebileceksiniz. Robots.txt dosyası, web sitenizin " public_html " klasörü olarak da adlandırılan kök dizinindedir. Filezilla Explorer'ı kullanarak ona gidebilirsiniz.

robots.txt dosyasını bulduğunuzda, dosyaya sağ tıklayın ve Sil öğesini seçin.

Bu kadar! Robots.txt dosyasını WordPress web sitenizden başarıyla kaldırdınız.

2. Robots.txt dosyasını cPanel'den kaldırın

Robots.txt dosyasını WordPress web sitenizden manuel olarak kaldırmak için daha doğrudan bir yaklaşım istiyorsanız, cPanel'i kullanabilirsiniz. Tek yapmanız gereken barındırma sağlayıcınız tarafından sağlanan bağlantıyı kullanarak cPanel hesabınıza giriş yapmak . Gerekli kimlik bilgilerine ve ayrıntılara sahip değilseniz yine barındırma sağlayıcınızla iletişime geçebilirsiniz.

cPanel'e giriş yaptıktan sonra Dosyalar bölümüne gelin ve Dosya Yöneticisi'ne tıklayın. Artık WordPress web sitenizin tüm dosyalarına erişebilirsiniz.

Ardından, robots.txt dosyası burada olduğu için kök dizine veya “ public_html ” klasörüne gidin. Şimdi, robots.txt dosyasını seçin ve dosya yöneticisinin menü çubuğunda Sil'e tıklayın.

Harika! Robots.txt dosyanız artık WordPress web sitenizden kaldırıldı.

WordPress'te Robots.txt Nasıl Devre Dışı Bırakılır?

Yukarıda belirtilen yaklaşımlar , robots.txt dosyasını WordPress web sitenizden kaldırmanıza yardımcı olabilir. Ancak dosya SEO'nuz için çok önemli olduğu için genellikle önerilmez. Bu nedenle, daha güvenli bir seçenek istiyorsanız, WordPress web sitenizdeki robots.txt dosyasını devre dışı bırakabilirsiniz .

Sonuç olarak, robots.txt dosyası, arama motoru botlarının web sitenizi taraması ve dizine eklemesi için herhangi bir kısıtlama olmasa bile web sitenizin dosya dizininde bulunacaktır. WordPress'te robots.txt dosyasını devre dışı bırakmanın birkaç yolu vardır. Bunu doğrudan WordPress kontrol panelinden yapabilir veya dosyayı bir eklenti, FTP veya cPanel kullanarak manuel olarak düzenleyebilirsiniz.

1. WordPress Dashboard'dan Robots.txt'yi devre dışı bırakın

Robots.txt dosyasını WordPress kontrol panelinizden devre dışı bırakmak kolaydır. Tek yapmanız gereken WordPress kontrol panelinizden Ayarlar > Okuma bölümüne gitmek, Arama Motoru Görünürlüğü seçeneğinin işaretini kaldırmak ve değişiklikleri kaydetmek .

Bu, WordPress web sitenizdeki robots.txt dosyasının tüm içeriğini kaldıracak ve şu şekilde değiştirecektir:

 Kullanıcı aracısı: *
İzin verme:

Bu nedenle, bu, arama motorlarının web sitenizi dizine eklemesini önleyecektir. Ancak bu talebi yerine getirme kararı arama motorlarına aittir.

2. Bir Eklenti Kullanarak Robots.txt'yi Devre Dışı Bırakın

WordPress web sitenizden zaten bir SEO eklentisi kullanıyorsanız, robots.txt dosyasını bir eklenti kullanarak da düzenleyebilir ve devre dışı bırakabilirsiniz. Arama motoru botlarının sitenizi robots.txt dosyasını kullanarak dizine eklemesini istemiyorsanız, bu çok zaman kazandırabilir.

Birkaç WordPress SEO eklentisi, robots.txt dosyasını düzenlemenize ve devre dışı bırakmanıza olanak tanır. Ancak bu gösteri için Rank Math SEO eklentisini kullanacağız.

Robots.txt dosyasını düzenlemek için çok basit bir arayüze sahiptir. Bu, devre dışı bırakmak için WordPress web sitenizin robots.txt dosyasının içeriğini düzenlemeyi ve kaldırmayı çok kolaylaştıracaktır.

Başka bir SEO eklentisi kullanmak istiyorsanız, bunu yapabilirsiniz. Adımlar her eklentiye çok benzer. Bu nedenle, kullanmaya başlamadan önce eklentiyi yüklemeniz ve etkinleştirmeniz gerekir.

2.1. Eklentiyi Kurun ve Etkinleştirin

Eklentiyi yüklemek için, WordPress kontrol panelinizden Eklentiler > Yeni Ekle'ye gidin ve eklentinin anahtar kelimelerini arayın. Arama sonuçlarında görüntülendiği anda Şimdi Yükle'yi tıklayın.

Kurulum sadece birkaç saniye içinde tamamlanacaktır. Ardından, eklentiyi etkinleştirmek için Etkinleştir'e tıklayın.

Herhangi bir premium SEO eklentisi kullanmak istiyorsanız, eklentiyi manuel olarak da yükleyebilir ve kurabilirsiniz. Yardıma ihtiyacınız varsa, lütfen manuel olarak bir WordPress eklentisi yükleme kılavuzumuza bakın.

2.2. Robots.txt Dosyasını Düzenleyin ve Devre Dışı Bırakın

Eklentiyi etkinleştirdikten sonra, WordPress kontrol panelinizden Rank Math > Genel Ayarlar'a gidin ve robots.txt dosyasını düzenle sekmesini açın. Bu, robots.txt dosyanıza eklemek istediğiniz kodları ve talimatları düzenlemenizi sağlar. Eklenti, robots.txt dosyanızdaki kodları ve talimatları eklemek veya kaldırmak için burada bir metin düzenleyici bile sağlamıştır.

Bu dosyayı daha önce düzenlediyseniz, arama motoru botlarının taramasını ve dizine eklemesini istemediğiniz sayfalara bağlı olarak burada birkaç talimat görebilirsiniz. Öte yandan, bu, WordPress'in oluşturduğu varsayılan robots.txt dosyasıysa , aşağıdaki ayrıntıları görürsünüz:

 Kullanıcı aracısı: *
İzin verme: /wp-admin/
İzin ver: /wp-admin/admin-ajax.php

Burada tek yapmanız gereken robots.txt dosyasındaki tüm ek kodları kaldırmak ve dosyayı aşağıdaki talimatlarla bırakmak:

 Kullanıcı aracısı: *
İzin verme:

Yukarıdaki talimatı ekledikten sonra Değişiklikleri Kaydet'e tıklayın.

Bu kadar! Bir eklenti kullanarak robots.txt dosyasını başarıyla devre dışı bıraktınız.

3. FTP İstemcisi veya cPanel Kullanarak Robots.txt'yi Devre Dışı Bırakın

Robots.txt dosyası, bir FTP istemcisi veya cPanel kullanılarak da devre dışı bırakılabilir. Bu yaklaşım için, robots.txt dosyasının herhangi bir içeriğini WordPress web sitenizden kaldırmanız gerekmez. Ancak, herhangi bir metin düzenleyici kullanarak yeni bir robots.txt dosyası oluşturmanız ve yalnızca aşağıdaki talimatları eklemeniz gerekir:

 Kullanıcı aracısı: *
İzin verme:

Dosyayı " robots.txt " olarak kaydettiğinizden emin olun.

Artık tek yapmanız gereken yeni oluşturulan robots.txt dosyasını yükleyip bir FTP istemcisi veya cPanel kullanarak eski dosyayla değiştirmek.

FTP kullanmak istiyorsanız, öncelikle bu kılavuzda belirtilen adımları kullanarak web sitenizi FTP istemcisine bağlayabilirsiniz . Ardından, yeni robots.txt dosyasını kök dizine veya " public_html " klasörüne yükleyin .

Benzer şekilde, robots.txt dosyasını devre dışı bırakmak için cPanel kullanmak istiyorsanız, önce cPanel hesabınıza giriş yapabilir ve dosya dizinini açabilirsiniz . Bu kılavuzun “Robots.txt'yi cPanel'den Kaldırma” bölümündeki adımları takip edebilirsiniz. Ardından, " public_html " klasörüne gidin ve yeni oluşturulan robots.txt dosyasını buraya yükleyin .

Bu dosyayı düzenleme konusunda yardıma ihtiyacınız varsa, WordPress'te robots.txt düzenleme hakkındaki ayrıntılı kılavuzumuza bakın.

Çözüm

Bunlar , robots.txt dosyasını WordPress web sitenizden devre dışı bırakabileceğiniz veya kaldırabileceğiniz çeşitli yöntemlerdir. Web sitenizde robots.txt dosyası nedeniyle sorunlar oluşuyorsa kullanışlı olabilir. Web siteniz geliştirme aşamasındaysa veya tamamen gelişmiş indeksleme istiyorsanız, onu kaldırmak da size fayda sağlayabilir.

Ancak özetlemek gerekirse, iki ana yolu kullanarak robots.txt dosyasını WordPress web sitenizden tamamen kaldırabilirsiniz:

• FTP istemcisini kullanma
• cPanel

Her iki yaklaşım da robots.txt dosyasını web sitenizden kaldırmada çok etkilidir. Ancak bu genellikle önerilmediğinden, daha güvende kalmak istiyorsanız devre dışı da bırakabilirsiniz. WordPress panosunu kullanarak devre dışı bırakabilir veya bir eklenti, FTP veya cPanel kullanarak düzenleyebilirsiniz.

Robots.txt dosyasını şimdi kaldırabilir veya devre dışı bırakabilir misiniz? Daha önce denediyseniz bize bildirin.

Bu arada, WordPress web sitenizi özelleştirmenize veya geliştirmenize yardımcı olabilecek bazı kılavuzları burada bulabilirsiniz:

• Rank Math SEO Nasıl Kurulur? Doğru yol!
• Yoast SEO'yu WordPress'teki veritabanından kaldırın
• WordPress SEO nasıl geliştirilir?