src/DcSiteBundle/Resources/views/robots.txt.twig line 1

Open in your IDE?
  1. User-agent: GPTBot
  2. Disallow: /
  4. User-agent: *
  5. Disallow: /*page=*
  6. Disallow: /*search=*
  7. Disallow: /cgi-bin
  8. Disallow: /tmp/
  9. Disallow: /junk/
  10. Disallow: /callback/
  11. Disallow: /filter/
  12. Disallow: /save
  13. Disallow: /*.pdf
  14. Disallow: *.xlsx
  15. Disallow: *.doc
  16. Disallow: /finance/leasing-modules
  17. Disallow: /airport/
  18. Disallow: /save-form
  19. Disallow: /file-download/
  20. Disallow: /basket
  21. Disallow: /checkout-order/
  22. Disallow: *?vehicleId=*
  23. {% if Dealer.id == 4 %}
  24. Disallow: /comparison/*
  25. Disallow: /uploads/thslot.php*
  26. Disallow: /bitrix/*
  27. {% endif %}
  29. Allow: /*.css
  30. Allow: /*.js
  31. Allow: /*.jpg
  32. Allow: /*.jpg.webp
  33. Allow: /*.jpeg
  34. Allow: /*.jpeg.webp
  35. Allow: /*.png
  36. Allow: /*.png.webp
  37. Allow: /*.webp
  38. Allow: /*.png.webp
  40. {% if isShop %}
  41. Sitemap: https://shop.{{ Dealer.domain }}/sitemap.xml
  42. {% else %}
  43. {% if Dealer.id != 28 %}
  44. Sitemap: https://{{ Dealer.domain }}/ru/sitemap.xml
  45. Sitemap: https://{{ Dealer.domain }}/ua/sitemap.xml
  46. {% else %}
  47. Sitemap: https://{{ Dealer.domain }}/sitemap.xml
  48. {% endif %}
  49. {% endif %}