Yıllardır botlar için robots.txt kullanıyoruz bu standardın yapay zeka versiyonu karşımıza llms.txt olarak çıkıyor.
llms.txt Nedir?
llms.txt, web sitenizin içeriğinin yapay zekâ botları tarafından nasıl kullanılacağını belirleyen bir dosyadır.
Bu dosya, sitenizin kök dizinine (root klasörüne) eklenir ve şu şekilde erişilebilir:
Tıpkı robots.txt dosyasında olduğu gibi, llms.txt de botların hangi sayfalara erişebileceğini veya erişemeyeceğini bildirir.
Fakat fark şudur:
robots.txt arama motorlarını (Googlebot, Bingbot vb.),
llms.txt ise yapay zekâ tarayıcılarını (GPTBot, ClaudeBot, PerplexityBot vb.) kontrol eder.
llms.txt Ne İşe Yarar?
Yapay zekâ botlarını kontrol etmenizi sağlar.
OpenAI veya Google gibi şirketlerin botlarının hangi içeriklere erişebileceğini belirleyebilirsiniz.
Veri gizliliğinizi korur.
Web sitenizin içeriklerinin AI eğitimi için kullanılmasını engelleyebilirsiniz.
Marka itibarınızı korur.
İçerikleriniz izinsiz olarak yapay zekâ sonuçlarında görünmesin diyebilirsiniz.
AI SEO stratejilerini destekler.
Eğer izin verirseniz, AI tabanlı arama sonuçlarında markanızın görünürlüğü artabilir.
llms.txt Dosyası Nasıl Oluşturulur?
Bir llms.txt dosyası oluşturmak oldukça kolaydır.
Basit bir metin dosyası açıp, kuralları şu şekilde yazabilirsiniz:
Yeni çıkan “llms.txt” standardı, artık klasik robots.txt mantığından biraz daha farklı bir biçimde tanımlanmaya başladı.
Bazı örneklerde (özellikle fastht.ml/docs/llms.txt gibi referanslarda) dosya, daha yapılandırılmış (YAML benzeri) bir formda sunuluyor.
Bu yeni biçim, yalnızca “Disallow/Allow” kuralları değil, lisans, veri kullanımı, iletişim bilgileri ve eğitim izni gibi alanları da içeriyor.
Yani amaç artık sadece “botu engellemek” değil — “AI’lar için içerik kullanım koşullarını açıkça belirtmek.”
Bu format:
Markdown formatı ile yazılmıştır (başlıklar #, ##, bağlantılar – /sayfa)
Önemli sayfaların bağlantılarını listeler (içerik rehberi niteliğinde)
HTML, YAML gibi karmaşıklıklardan kaçınır — sade bir yapı önerilir.
Standartlar ve daha fazla bilgi almak için ilgili url adresini ziyaret edebilirsiniz.
llms.txt’nin Mevcut Durumu ve Standartlığı
- llms.txt, önerilen bir standart olarak sunulmuş durumda, yani resmi bir IETF / W3C standardı değil.
- Standartın prototip hali, Markdown formatında “site haritası / içerik özeti + bağlantılar” biçiminde hazırlanması öngörülüyor.
- Örneğin, Ahrefs’in açıklamalarına göre llms.txt Markdown belge olarak yazılır, H2 başlıkları altında önemli kaynakların listesi verilir:
- “llms.txt temel olarak bir Markdown belgesidir … H2 başlıklarını kullanarak kaynak bağlantılarını organize eder”
- Ayrıca “llms-full.txt” adında, tüm içerikleri doğrudan dahil eden bir versiyon önerisi de bulunuyor.
- llms.txt formatının “izin/engelleme (Allow / Disallow)” mantığı taşıdığı yönünde yaygın bir öneri yok; çoğu kaynak içerik rehberi, bağlantı listeleri ve özetler üzerinden gidiyor.
- Dil kaynaklarının çoğu, standartın hâlâ evrimleşmekte olduğunu ve “uygulama biçimleri” arasında farklar bulunduğunu vurguluyor.
