AI-краулеры
Все статьи и заметки artka.dev по теме «AI-краулеры»: разборы из практики, примеры кода и выводы, сделанные после продакшна.
- 01
8 страниц из 185: разбор индексации Astro-блога
Разбор по данным Search Console: какие ошибки нашлись в Astro-блоге и почему статус «просканирована, но пока не проиндексирована» не объясняет причину исключения.
- 02
robots.txt и ИИ-боты: четыре задачи, а не одна
Какие рычаги управляют обычным поиском, генеративными ответами, обучением моделей и получением страницы по запросу пользователя. Актуальные имена ботов и проверка доступа на сентябрь 2026.