Robots.txt adında bir dosya var. Bu dosyaya web sitenizin nerelerinin arama motorları tarafından dizine alınacağını, nerelerin internet aramaları ile bulunamayacağı gibi bilgileri yazıyorsunuz. Önemsiz bir dosya gibi görünüyor ama Arama Motoru Optimizasyonu, Gizlilik ve Güvenlik açılarından önem arzediyor. Okumaya devam et “Robots.txt dosyasının arkasında yatanlar”
Robots.txt dosyasının arkasında yatanlar
robots.txt isimli dosyanın kullanım alanı ve örnek..