Периодически зависает сайт

[con]

С недавних пор заметил, что сайт зависает как минимум несколько раз в день от ~3 до 15 минут. То есть, при попытке обновить страницу он просто тупит и ни роботы поисковых систем, ни пользователь в это время не могут зайти на сайт.

Во время зависания в логах творится такое:
Логи apache

Код: Выделить всё

[proxy_fcgi:error] [pid 13051] (70007)The timeout specified has expired: [client 37.192.76.59:52907] AH01075: Error dispatching request to : (polling), referer: https://www.google.com/
[proxy_fcgi:error] [pid 12862] (70007)The timeout specified has expired: [client 85.115.248.131:52283] AH01075: Error dispatching request to : (polling), referer: https://yandex.ru/
[Sat May 16 09:49:35.920887 2020] [proxy_fcgi:error] [pid 13026] (70007)The timeout specified has expired: [client 213.87.122.146:57462] AH01075: Error dispatching request to : (polling)
[Sat May 16 09:50:03.425675 2020] [proxy_fcgi:error] [pid 12874] (70007)The timeout specified has expired: [client 188.19.58.115:1424] AH01075: Error dispatching request to : (polling), referer: https://site.com/

лог /var/log/php-fpmerror.log пустой

Проблема проявляется во всех связках:
apache+nginx+mysql+php; apache+mysql+php, с разными мостами: cgi/fastcgi с разными MPM: worker/prefork. Уже что только не пробовал-
целую чертову неделю долблюсь над этой проблемой. Советы с забугорных форумов не помогли тоже: менял в apache с 60 до 180сек.

Код: Выделить всё

Timeout 180
ProxyTimeout 180

Даже поставил новый сервер с панелькой и связкой apache+nginx+php+mysql - без результата.

Совет обрывать коннект если долго обрабатывается запрос, прописывая в конфигах apache вот такой код

Код: Выделить всё

RequestReadTimeout handshake=0 header=20-600,MinRate=500 body=20,MinRate=500

не помогают (да и если бы помогло, то это лишь костыль, который обрывал бы юзеров, а причину не решал).

Извиняюсь за трехтомный спам, но я уже целую неделю долблю эту чертову проблему и ничего не помогает. Может быть у кого-то будут свежие мысли?

[aidarzhussupov]

Добрый день!

У меня периодически в целом вся виртуальная машина "зависает", и все службы перестают отвечать, сервер просто "ложится" грубо говоря. Помогает только перезапуск вирт. машины через панель виртуализации. Для теста создал новую машину и панель, без каких либо сайтов и через 2 дня машина зависла снова. Далее установил просто чистый CentOS и все ок, машина уже 4 дня работает как положено.

По логам панели виртуализации, перед тем как зависнуть, на вирт. машине резко поднимается кол-во операций I\O, т.е. сильно грузится жесткий диск.

Я не знаю связано ли это с Вашей проблемой, пишу лишь с целью, чтобы на это обратили внимание разработчики панели, возможно проблема кроется в самой панели.

[ordex]

собственно такая же проблема, грешил на харды, потом на ssd с системой, в итоге поменял всё, но зависания продолжаются.

[sbury]

а если просто один nginx проблема остается?
В момент таких проблем посмотрите журнал journalctl -p err | tail -50

[ordex]

а если просто один nginx проблема остается?
В момент таких проблем посмотрите журнал journalctl -p err | tail -50

у меня один nginx и стоит, apache не было изначально. В момент проблем, если не висит ssh подключение посмотреть что-либо проблематично т.к. сервер ни на что не реагирует. Сразу после перезагрузки кроме этого ничего нет:

Код: Выделить всё

[root@cp ~]# journalctl -p err | tail -50
-- Logs begin at Чт 2020-05-21 10:11:35 MSK, end at Пт 2020-05-22 11:25:42 MSK. --
май 21 10:11:40 cp.server.org systemd-udevd[443]: could not read from '/sys/module/pcc_cpufreq/initstate': No such device
май 21 10:11:48 cp.server.org ntpd_intres[612]: host name not found: 0.centos.pool.ntp.org
май 21 10:11:48 cp.server.org ntpd_intres[612]: host name not found: 1.centos.pool.ntp.org
май 21 10:11:48 cp.server.org ntpd_intres[612]: host name not found: 2.centos.pool.ntp.org
май 21 10:11:48 cp.server.org ntpd_intres[612]: host name not found: 3.centos.pool.ntp.org
май 21 10:11:54 cp.server.org ntpd_intres[612]: host name not found: 0.centos.pool.ntp.org
май 21 10:11:54 cp.server.org ntpd_intres[612]: host name not found: 1.centos.pool.ntp.org
май 21 10:11:54 cp.server.org ntpd_intres[612]: host name not found: 2.centos.pool.ntp.org
май 21 10:11:54 cp.server.org ntpd_intres[612]: host name not found: 3.centos.pool.ntp.org
май 21 10:11:55 cp.server.org rsyslogd[944]: imjournal: fscanf on state file `/var/lib/rsyslog/imjournal.state' failed  [v8.24.0-52.el7 try http://www.rsyslog.com/e/2027 ]
май 21 10:11:55 cp.server.org rsyslogd[944]: imjournal: ignoring invalid state file [v8.24.0-52.el7]

ntp не резолвится думаю потому, что стоит adguard, который, видимо, не успел ещё запуститься.

[con]

а если просто один nginx проблема остается?
В момент таких проблем посмотрите журнал journalctl -p err | tail -50

Принято, так и сделаю, т.к. один NGINX оставлять не пробовал, т.к. сайт с динамическим контентом.
За эту неделю нашел системного администратора. Он написал, что причину выяснить не удалось.
Грешил сначала на длинные запросы - в итоге таких не было.
Как вывод он написал, что проблема не обнаружена. Написал, что

проксирующий апач это немного странно, избыточное колличество работающих модулей у апача, два php-fpm в произвольных папках добавляет неудобств во время отладки.

Когда я у него спросил, что чисто интуитивно (раз явно прблему найти не удалось) в чем может быть дело - подозревать БД он перестал, и написал:

- проксирующий апач - дикость но вряд ли проблема в нем (2 запроса в секунду слишком маленькая нагрузка что бы так падать)
- php-fpm - тут так же мало шансов
- предположу, что просто php-приложение не держит на такую нагрузку, но как это быстро отладить не представляю.

На этих выходных мне установят LAMP, с минимом всяких приблуд, я туда перенесу проект и тогда будет однозначно понятно: проблема в самом сайте или все-таки где-то в сборке панели.

[sbury]

еще покажите вывод когда все работает нормально, и вывод когда все тормознет
ipcs -a

И какую верисию sql используете

[ordex]

нормально:

Код: Выделить всё

[root@cp /]# ipcs -a

------ Очереди сообщений --------
ключ   msqid      владелец права исп. байты сообщения

------ Сегменты совм. исп. памяти --------
ключ   shmid      владелец права байты nattch     состояние
0x00000000 0          root       600        524288     3          назначение       
0x00000000 2          root       600        524288     5          назначение       
0x00000000 5          root       600        524288     5          назначение       

------ Массивы семафоров --------
ключ   semid      владелец права nsems     
0x00000000 0          root       600        1         
0x00000000 1          root       600        1         
0x00000000 2          root       600        1         
0x00000000 3          root       600        1         
0x00000000 4          root       600        1         
0x00000000 5          root       600        1         
0x00000000 6          root       600        1         
0x00000000 7          root       600        1         
0x00000000 8          root       600        1         
0x002fa327 9          root       600        2         
0x00000000 10         root       600        1         
0x00000000 11         root       600        1       

Когда всё тормознёт:

Код: Выделить всё

дополню если смогу, ssh сессию запустил, ждать, обычно от суток и до недели..

Mysql 5.7

[sbury]

rpm -qa | grep mysql57

Может есть возможность поднять тестовый сервер на mysql-5.6?

[ordex]

rpm -qa | grep mysql57

Может есть возможность поднять тестовый сервер на mysql-5.6?

[root@cp /]# rpm -qa | grep mysql57
dovecot-mysql57-2.2.27-10.el7.centos.x86_64
mysql57-server-5.7.29-200.el7.x86_64
exim-mysql57-4.92.3-1.el7.x86_64
mysql57-5.7.29-200.el7.x86_64
mysql57-libs-5.7.29-200.el7.x86_64
mysql57-devel-5.7.29-200.el7.x86_64

На виртуалке разве что, да могу. На той же машине нет, там оперативки свободной не так много.