Страница 1 из 8
Периодически зависает сайт
Добавлено: Сб май 16, 2020 11:11 am
con
С недавних пор заметил, что сайт зависает как минимум несколько раз в день от ~3 до 15 минут. То есть, при попытке обновить страницу он просто тупит и ни роботы поисковых систем, ни пользователь в это время не могут зайти на сайт.
Во время зависания в логах творится такое:
Логи apache
Код: Выделить всё
[proxy_fcgi:error] [pid 13051] (70007)The timeout specified has expired: [client 37.192.76.59:52907] AH01075: Error dispatching request to : (polling), referer: https://www.google.com/
[proxy_fcgi:error] [pid 12862] (70007)The timeout specified has expired: [client 85.115.248.131:52283] AH01075: Error dispatching request to : (polling), referer: https://yandex.ru/
[Sat May 16 09:49:35.920887 2020] [proxy_fcgi:error] [pid 13026] (70007)The timeout specified has expired: [client 213.87.122.146:57462] AH01075: Error dispatching request to : (polling)
[Sat May 16 09:50:03.425675 2020] [proxy_fcgi:error] [pid 12874] (70007)The timeout specified has expired: [client 188.19.58.115:1424] AH01075: Error dispatching request to : (polling), referer: https://site.com/
лог /var/log/php-fpmerror.log пустой
Проблема проявляется во всех связках:
apache+nginx+mysql+php; apache+mysql+php, с разными мостами: cgi/fastcgi с разными MPM: worker/prefork. Уже что только не пробовал-
целую чертову неделю долблюсь над этой проблемой. Советы с забугорных форумов не помогли тоже: менял в apache с 60 до 180сек.
Даже поставил новый сервер с панелькой и связкой apache+nginx+php+mysql - без результата.
Совет обрывать коннект если долго обрабатывается запрос, прописывая в конфигах apache вот такой код
Код: Выделить всё
RequestReadTimeout handshake=0 header=20-600,MinRate=500 body=20,MinRate=500
не помогают (да и если бы помогло, то это лишь костыль, который обрывал бы юзеров, а причину не решал).
Извиняюсь за трехтомный спам, но я уже целую неделю долблю эту чертову проблему и ничего не помогает. Может быть у кого-то будут свежие мысли?
Re: Периодически зависает сайт
Добавлено: Пт май 22, 2020 4:47 am
aidarzhussupov
Добрый день!
У меня периодически в целом вся виртуальная машина "зависает", и все службы перестают отвечать, сервер просто "ложится" грубо говоря. Помогает только перезапуск вирт. машины через панель виртуализации. Для теста создал новую машину и панель, без каких либо сайтов и через 2 дня машина зависла снова. Далее установил просто чистый CentOS и все ок, машина уже 4 дня работает как положено.
По логам панели виртуализации, перед тем как зависнуть, на вирт. машине резко поднимается кол-во операций I\O, т.е. сильно грузится жесткий диск.
Я не знаю связано ли это с Вашей проблемой, пишу лишь с целью, чтобы на это обратили внимание разработчики панели, возможно проблема кроется в самой панели.
Re: Периодически зависает сайт
Добавлено: Пт май 22, 2020 6:19 am
ordex
собственно такая же проблема, грешил на харды, потом на ssd с системой, в итоге поменял всё, но зависания продолжаются.
Re: Периодически зависает сайт
Добавлено: Пт май 22, 2020 8:22 am
sbury
а если просто один nginx проблема остается?
В момент таких проблем посмотрите журнал journalctl -p err | tail -50
Re: Периодически зависает сайт
Добавлено: Пт май 22, 2020 8:34 am
ordex
sbury писал(а): ↑Пт май 22, 2020 8:22 am
а если просто один nginx проблема остается?
В момент таких проблем посмотрите журнал journalctl -p err | tail -50
у меня один nginx и стоит, apache не было изначально. В момент проблем, если не висит ssh подключение посмотреть что-либо проблематично т.к. сервер ни на что не реагирует. Сразу после перезагрузки кроме этого ничего нет:
Код: Выделить всё
[root@cp ~]# journalctl -p err | tail -50
-- Logs begin at Чт 2020-05-21 10:11:35 MSK, end at Пт 2020-05-22 11:25:42 MSK. --
май 21 10:11:40 cp.server.org systemd-udevd[443]: could not read from '/sys/module/pcc_cpufreq/initstate': No such device
май 21 10:11:48 cp.server.org ntpd_intres[612]: host name not found: 0.centos.pool.ntp.org
май 21 10:11:48 cp.server.org ntpd_intres[612]: host name not found: 1.centos.pool.ntp.org
май 21 10:11:48 cp.server.org ntpd_intres[612]: host name not found: 2.centos.pool.ntp.org
май 21 10:11:48 cp.server.org ntpd_intres[612]: host name not found: 3.centos.pool.ntp.org
май 21 10:11:54 cp.server.org ntpd_intres[612]: host name not found: 0.centos.pool.ntp.org
май 21 10:11:54 cp.server.org ntpd_intres[612]: host name not found: 1.centos.pool.ntp.org
май 21 10:11:54 cp.server.org ntpd_intres[612]: host name not found: 2.centos.pool.ntp.org
май 21 10:11:54 cp.server.org ntpd_intres[612]: host name not found: 3.centos.pool.ntp.org
май 21 10:11:55 cp.server.org rsyslogd[944]: imjournal: fscanf on state file `/var/lib/rsyslog/imjournal.state' failed [v8.24.0-52.el7 try http://www.rsyslog.com/e/2027 ]
май 21 10:11:55 cp.server.org rsyslogd[944]: imjournal: ignoring invalid state file [v8.24.0-52.el7]
ntp не резолвится думаю потому, что стоит adguard, который, видимо, не успел ещё запуститься.
Re: Периодически зависает сайт
Добавлено: Пт май 22, 2020 8:50 am
con
sbury писал(а): ↑Пт май 22, 2020 8:22 am
а если просто один nginx проблема остается?
В момент таких проблем посмотрите журнал journalctl -p err | tail -50
Принято, так и сделаю, т.к. один NGINX оставлять не пробовал, т.к. сайт с динамическим контентом.
За эту неделю нашел системного администратора. Он написал, что причину выяснить не удалось.
Грешил сначала на длинные запросы - в итоге таких не было.
Как вывод он написал, что проблема не обнаружена. Написал, что
проксирующий апач это немного странно, избыточное колличество работающих модулей у апача, два php-fpm в произвольных папках добавляет неудобств во время отладки.
Когда я у него спросил, что чисто интуитивно (раз явно прблему найти не удалось) в чем может быть дело - подозревать БД он перестал, и написал:
- проксирующий апач - дикость но вряд ли проблема в нем (2 запроса в секунду слишком маленькая нагрузка что бы так падать)
- php-fpm - тут так же мало шансов
- предположу, что просто php-приложение не держит на такую нагрузку, но как это быстро отладить не представляю.
На этих выходных мне установят LAMP, с минимом всяких приблуд, я туда перенесу проект и тогда будет однозначно понятно: проблема в самом сайте или все-таки где-то в сборке панели.
Re: Периодически зависает сайт
Добавлено: Пт май 22, 2020 12:13 pm
sbury
еще покажите вывод когда все работает нормально, и вывод когда все тормознет
ipcs -a
И какую верисию sql используете
Re: Периодически зависает сайт
Добавлено: Пт май 22, 2020 12:16 pm
ordex
нормально:
Код: Выделить всё
[root@cp /]# ipcs -a
------ Очереди сообщений --------
ключ msqid владелец права исп. байты сообщения
------ Сегменты совм. исп. памяти --------
ключ shmid владелец права байты nattch состояние
0x00000000 0 root 600 524288 3 назначение
0x00000000 2 root 600 524288 5 назначение
0x00000000 5 root 600 524288 5 назначение
------ Массивы семафоров --------
ключ semid владелец права nsems
0x00000000 0 root 600 1
0x00000000 1 root 600 1
0x00000000 2 root 600 1
0x00000000 3 root 600 1
0x00000000 4 root 600 1
0x00000000 5 root 600 1
0x00000000 6 root 600 1
0x00000000 7 root 600 1
0x00000000 8 root 600 1
0x002fa327 9 root 600 2
0x00000000 10 root 600 1
0x00000000 11 root 600 1
Когда всё тормознёт:
Код: Выделить всё
дополню если смогу, ssh сессию запустил, ждать, обычно от суток и до недели..
Mysql 5.7
Re: Периодически зависает сайт
Добавлено: Пт май 22, 2020 12:22 pm
sbury
rpm -qa | grep mysql57
Может есть возможность поднять тестовый сервер на mysql-5.6?
Re: Периодически зависает сайт
Добавлено: Пт май 22, 2020 12:25 pm
ordex
sbury писал(а): ↑Пт май 22, 2020 12:22 pm
rpm -qa | grep mysql57
Может есть возможность поднять тестовый сервер на mysql-5.6?
[root@cp /]# rpm -qa | grep mysql57
dovecot-mysql57-2.2.27-10.el7.centos.x86_64
mysql57-server-5.7.29-200.el7.x86_64
exim-mysql57-4.92.3-1.el7.x86_64
mysql57-5.7.29-200.el7.x86_64
mysql57-libs-5.7.29-200.el7.x86_64
mysql57-devel-5.7.29-200.el7.x86_64
На виртуалке разве что, да могу. На той же машине нет, там оперативки свободной не так много.