Вопрос Как сделать лучший robots txt для сайта wordpress?
- Автор темы ProGadMan
- Дата начала
User-agent: * Disallow: /cgi-bin # классика... Disallow: /? # все параметры запроса на главной Disallow: /wp- # все файлы WP: /wp-json/, /wp-includes, /wp-content/plugins Disallow: *?s= # поиск Disallow: *&s= # поиск Disallow: /search # поиск Disallow: /author/ # архив автора Disallow: *?attachment_id= # страница вложения. Вообще-то на ней редирект... Disallow: */trackback Disallow: */feed # все фиды Disallow: */embed # все встраивания Disallow: */page/ # все виды пагинации Allow: */uploads # открываем uploads Allow: /*/*.js # внутри /wp- (/*/ - для приоритета) Allow: /*/*.css # внутри /wp- (/*/ - для приоритета) Allow: /wp-*.png # картинки в плагинах, cache папке и т. д. Allow: /wp-*.jpg # картинки в плагинах, cache папке и т. д. Allow: /wp-*.jpeg # картинки в плагинах, cache папке и т. д. Allow: /wp-*.gif # картинки в плагинах, cache папке и т. д. #Disallow: /wp/ # когда WP установлен в подкаталог wp Host: ваш сайт Sitemap: ваша карта