Проблема с переадресацией http -> https и доступностью robots.txt на одном домене

[vikont]

Добрый день! Нужен совет или инфа по проблеме.
Запускаю сайты на старом домене и его поддомене (домен не работал более 6 мес)
Проблема начинается после включения в ПУ переадресации с http на https - Яндекс перестает видеть robots.txt и сообщает о том, что сервер отвечает редиректом на запрос robots.txt. Проблема на обоих сайтах! Никакие ухищрения типа исключения robots.txt из переадресации не помогает!
У других сайтов на других доменах при тех же условиях все нормально работает!
Что делать?
Пробовал прописывать настройки и в htaccess и в настройки nginx... Проблема как бы известная, но ни одно решение не помогает.

Может быть кто то знает как это исправить? Или знает чудодейственную строку для донастройки nginx (применительно к данной ПУ) - этот вариант более оптимальный, так как редактирование htaccess приводит к снижению доступности сайтов.

[burunduk]

В Яндекс.Вебмастере добавьте сайт на https. Я так решил проблему.

[vikont]

В Яндекс.Вебмастере добавьте сайт на https. Я так решил проблему.

Спасибо, но в моем случае это не работает, как и многое другое, а вот почему не могу понять. И это только на одном домене, которому уже более 5-ти лет.

[bennieSib]

Закачал сайт в папку www, но сайт не пашет. Там вроди как кэшировать надо... но что это и как это делать?.... Помогите

[vikont]

И вновь, все та же проблема! Штатные средства переадресации ПУ почему то вызывают у Яндекса многочисленный редирект и отказывается грузить robots.txt с выдачей ошибки

Код: Выделить всё

Server responds to request for robots.txt with redirect

Удалось сгенерировать правило для NGINX, которое решило все проблемы

Код: Выделить всё

if ($http_host ~* "^www\.dsdnr\.ru$"){
    rewrite ^(.*)$ https://dsdnr.ru/$1 redirect; }

Разместил в секции /etc/brainy/data/webserver_config/user_includes/host_akka/my_site.nginx Индивидуальной донастройки виртхостов.
Но столкнулся с тем, что при первом обращении к сайту сначала грузится незащищенный режим, а при обновлении страницы появляется защищенный.
В чем может быть ошибка и как наконец правильно настроить и переадрессацию с HTTP на HTTPS и не потерять ни ROBOTS ни SITEMAP?

[vikont]

Ситуация проясняется, но пока не полностью:
Обратил внимание, что проблема доступности robots.txt проявляется не на всех аккаунтах. При проверке настроек NGINX для сайтов в /etc/nginx/sites-available/ у проблемных сайтов обнаружилась строка

Код: Выделить всё

rewrite ^(.*) https://$http_host$request_uri permanent;

Откуда берется пока не понял.
При работе с Донастройкой виртуальных хостов в секции без ssl, эта строка появляется вновь.
Как от этого избавится?

Сейчас сайты работают с включенным в ПУ перенаправлением http -> https, и строкой запрещающей перенаправление robots.txt в локальной секции с ssl, в других местах не работает

Код: Выделить всё

location ~ /robots\.txt$ {
}

НО, при таких настройках NGINX при первом вызове сайт грузится в незащищенном режиме (в браузере нет замочка), а при обновлении страницы уже виден замочек защищенного режима.
Как это исправить?

[sbury]

Ситуация проясняется, но пока не полностью:
Обратил внимание, что проблема доступности robots.txt проявляется не на всех аккаунтах. При проверке настроек NGINX для сайтов в /etc/nginx/sites-available/ у проблемных сайтов обнаружилась строка

Код: Выделить всё

rewrite ^(.*) https://$http_host$request_uri permanent;

Откуда берется пока не понял.
При работе с Донастройкой виртуальных хостов в секции без ssl, эта строка появляется вновь.
Как от этого избавится?

эта запись появляется при включении переадресации http->https

[vikont]

Ситуация проясняется, но пока не полностью:
Обратил внимание, что проблема доступности robots.txt проявляется не на всех аккаунтах. При проверке настроек NGINX для сайтов в /etc/nginx/sites-available/ у проблемных сайтов обнаружилась строка

Код: Выделить всё

rewrite ^(.*) https://$http_host$request_uri permanent;

Откуда берется пока не понял.
При работе с Донастройкой виртуальных хостов в секции без ssl, эта строка появляется вновь.
Как от этого избавится?

эта запись появляется при включении переадресации http->https

Спасибо, я это уже понял и даже редактировал пост, но видимо не сохранил...
Вопрос теперь в другом, почему блокируется robots.txt, не помогают никакие средства из интернета и почему при удалении строки переадресация продолжает работать? Кеш чистил, NGINX перезапускал.
Как все правильно настроить?

[vikont]

Опять что то изменилось и вновь Янлдекс не видит robots из-за редиректа.
Сервер NGINX + PHP-FRM? PHP 7.3 CentOS 7 Установлен модуль PageSpeed.
Редирект с http на https работает, но при его включении Яндекс не видит robots. Старые инструкции для NGINX почему то перестали работать.
Подскажите, как, где и что правильно прописать, чтобы Яндекс видел robots и при этом другое случайно не отвалилось.
Гуглить не посылайте, варианты закончились. Необходимо решение исходящее из реалий ПУ BrainyCP.
Проблема как на основных доменах, так и на их поддоменах.

ПС. При более детальной проверке выяснилось, что есть сайты с нормальной переадресацией и доступным robots, а настройки у всех одинаковые! Видимо где то закешировались сбойные настройки и переходят с сервера на сервер вместе с сайтом.
Где и что удалить? Кеши на сайтах почищены.