src/DcSiteBundle/Resources/views/robots.txt.twig line 1

Open in your IDE?
  1. User-agent: GPTBot
  2. Disallow: /
  3. User-agent: *
  4. Disallow: /*page=*
  5. Disallow: /*search=*
  6. Disallow: /cgi-bin
  7. Disallow: /tmp/
  8. Disallow: /junk/
  9. Disallow: /callback/
  10. Disallow: /filter/
  11. Disallow: /save
  12. Disallow: /*.pdf
  13. Disallow: *.xlsx
  14. Disallow: *.doc
  15. Disallow: /finance/leasing-modules
  16. Disallow: /airport/
  17. Disallow: /save-form
  18. Disallow: /file-download/
  19. Disallow: /basket
  20. Disallow: /checkout-order/
  21. Disallow: *?vehicleId=*
  22. {% if Dealer.id == 4 %}
  23. Disallow: /comparison/*
  24. Disallow: /uploads/thslot.php*
  25. Disallow: /bitrix/*
  26. {% endif %}
  27. Allow: /*.css
  28. Allow: /*.js
  29. Allow: /*.jpg
  30. Allow: /*.jpg.webp
  31. Allow: /*.jpeg
  32. Allow: /*.jpeg.webp
  33. Allow: /*.png
  34. Allow: /*.png.webp
  35. Allow: /*.webp
  36. Allow: /*.png.webp
  37. {% if isShop %}
  38. Sitemap: https://shop.{{ Dealer.domain }}/sitemap.xml
  39. {% else %}
  40. {% if Dealer.id != 28 %}
  41. Sitemap: https://{{ Dealer.domain }}/ru/sitemap.xml
  42. Sitemap: https://{{ Dealer.domain }}/ua/sitemap.xml
  43. {% else %}
  44. Sitemap: https://{{ Dealer.domain }}/sitemap.xml
  45. {% endif %}
  46. {% endif %}