Падает сервер в результате переполнения RAM
Падает сервер в результате переполнения RAM
Поставил чистый centoc 7, поверх brainycp. Заметил, что через какое-то время сервер падает - невозможно зайти ни в панель, ни в консоль ssh. Помогает только перезагрузка из аккаунта хостера. Через какое-то время сервер опять падает. В messages вот такой лист ошибок вываливается:
Feb 13 14:14:27 mkmv systemd: systemd-logind.service watchdog timeout (limit 3min)!
Feb 13 14:15:26 mkmv kernel: INFO: task systemd-logind:1465 blocked for more than 120 seconds.
Feb 13 14:15:26 mkmv kernel: Not tainted 4.18.15-1.el7.elrepo.x86_64 #1
Feb 13 14:15:26 mkmv kernel: "echo 0 > /proc/sys/kernel/hung_task_timeout_secs" disables this message.
Feb 13 14:15:26 mkmv kernel: systemd-logind D 0 1465 1 0x00000084
Feb 13 14:15:26 mkmv kernel: Call Trace:
Feb 13 14:15:26 mkmv kernel: __schedule+0x2ab/0x880
Feb 13 14:15:26 mkmv kernel: ? __wake_up_common+0x8f/0x160
Feb 13 14:15:26 mkmv kernel: schedule+0x36/0x80
Feb 13 14:15:26 mkmv kernel: schedule_timeout+0x1dc/0x300
Feb 13 14:15:26 mkmv kernel: ? radix_tree_iter_tag_set+0x1b/0x20
Feb 13 14:15:26 mkmv kernel: wait_for_completion+0x121/0x180
Feb 13 14:15:26 mkmv kernel: ? wake_up_q+0x80/0x80
Feb 13 14:15:26 mkmv kernel: __wait_rcu_gp+0x123/0x150
Feb 13 14:15:26 mkmv kernel: synchronize_sched+0x5e/0x80
Feb 13 14:15:26 mkmv kernel: ? __call_rcu+0x2d0/0x2d0
Feb 13 14:15:26 mkmv kernel: ? __bpf_trace_rcu_utilization+0x10/0x10
Feb 13 14:15:26 mkmv kernel: namespace_unlock+0x6a/0x80
Feb 13 14:15:26 mkmv kernel: ksys_umount+0x236/0x450
Feb 13 14:15:26 mkmv kernel: ? syscall_trace_enter+0x1cd/0x2b0
Feb 13 14:15:26 mkmv kernel: __x64_sys_umount+0x16/0x20
Feb 13 14:15:26 mkmv kernel: do_syscall_64+0x60/0x190
Feb 13 14:15:26 mkmv kernel: entry_SYSCALL_64_after_hwframe+0x44/0xa9
Feb 13 14:15:26 mkmv kernel: RIP: 0033:0x7fb4e1771f47
Feb 13 14:15:26 mkmv kernel: Code: Bad RIP value.
Feb 13 14:15:26 mkmv kernel: RSP: 002b:00007ffef4b48b18 EFLAGS: 00000246 ORIG_RAX: 00000000000000a6
Feb 13 14:15:26 mkmv kernel: RAX: ffffffffffffffda RBX: 0000000000000000 RCX: 00007fb4e1771f47
Feb 13 14:15:26 mkmv kernel: RDX: 000000000000a740 RSI: 0000000000000002 RDI: 000055d874c4b7d0
Feb 13 14:15:26 mkmv kernel: RBP: 0000000000000000 R08: 0000000000000001 R09: 0000000000008030
Feb 13 14:15:26 mkmv kernel: R10: 0000000000000076 R11: 0000000000000246 R12: 000055d874c4b2e0
Feb 13 14:15:26 mkmv kernel: R13: 0000000000000001 R14: 0000000000000000 R15: 0000000000000000
Feb 13 14:21:57 mkmv systemd: systemd-logind.service still around after final SIGKILL. Entering failed mode.
Feb 13 14:21:57 mkmv systemd: Unit systemd-logind.service entered failed state.
Feb 13 14:21:57 mkmv systemd: systemd-logind.service failed.
Feb 13 14:21:57 mkmv systemd: systemd-logind.service has no holdoff time, scheduling restart.
Feb 13 14:21:57 mkmv systemd: Stopped Login Service.
Feb 13 14:21:57 mkmv systemd: Starting Login Service...
Feb 13 14:21:57 mkmv systemd-logind: Failed to register name: File exists
Feb 13 14:21:57 mkmv systemd-logind: Failed to fully start up daemon: File exists
Feb 13 14:21:57 mkmv systemd: systemd-logind.service: main process exited, code=exited, status=1/FAILURE
Feb 13 14:14:27 mkmv systemd: systemd-logind.service watchdog timeout (limit 3min)!
Feb 13 14:15:26 mkmv kernel: INFO: task systemd-logind:1465 blocked for more than 120 seconds.
Feb 13 14:15:26 mkmv kernel: Not tainted 4.18.15-1.el7.elrepo.x86_64 #1
Feb 13 14:15:26 mkmv kernel: "echo 0 > /proc/sys/kernel/hung_task_timeout_secs" disables this message.
Feb 13 14:15:26 mkmv kernel: systemd-logind D 0 1465 1 0x00000084
Feb 13 14:15:26 mkmv kernel: Call Trace:
Feb 13 14:15:26 mkmv kernel: __schedule+0x2ab/0x880
Feb 13 14:15:26 mkmv kernel: ? __wake_up_common+0x8f/0x160
Feb 13 14:15:26 mkmv kernel: schedule+0x36/0x80
Feb 13 14:15:26 mkmv kernel: schedule_timeout+0x1dc/0x300
Feb 13 14:15:26 mkmv kernel: ? radix_tree_iter_tag_set+0x1b/0x20
Feb 13 14:15:26 mkmv kernel: wait_for_completion+0x121/0x180
Feb 13 14:15:26 mkmv kernel: ? wake_up_q+0x80/0x80
Feb 13 14:15:26 mkmv kernel: __wait_rcu_gp+0x123/0x150
Feb 13 14:15:26 mkmv kernel: synchronize_sched+0x5e/0x80
Feb 13 14:15:26 mkmv kernel: ? __call_rcu+0x2d0/0x2d0
Feb 13 14:15:26 mkmv kernel: ? __bpf_trace_rcu_utilization+0x10/0x10
Feb 13 14:15:26 mkmv kernel: namespace_unlock+0x6a/0x80
Feb 13 14:15:26 mkmv kernel: ksys_umount+0x236/0x450
Feb 13 14:15:26 mkmv kernel: ? syscall_trace_enter+0x1cd/0x2b0
Feb 13 14:15:26 mkmv kernel: __x64_sys_umount+0x16/0x20
Feb 13 14:15:26 mkmv kernel: do_syscall_64+0x60/0x190
Feb 13 14:15:26 mkmv kernel: entry_SYSCALL_64_after_hwframe+0x44/0xa9
Feb 13 14:15:26 mkmv kernel: RIP: 0033:0x7fb4e1771f47
Feb 13 14:15:26 mkmv kernel: Code: Bad RIP value.
Feb 13 14:15:26 mkmv kernel: RSP: 002b:00007ffef4b48b18 EFLAGS: 00000246 ORIG_RAX: 00000000000000a6
Feb 13 14:15:26 mkmv kernel: RAX: ffffffffffffffda RBX: 0000000000000000 RCX: 00007fb4e1771f47
Feb 13 14:15:26 mkmv kernel: RDX: 000000000000a740 RSI: 0000000000000002 RDI: 000055d874c4b7d0
Feb 13 14:15:26 mkmv kernel: RBP: 0000000000000000 R08: 0000000000000001 R09: 0000000000008030
Feb 13 14:15:26 mkmv kernel: R10: 0000000000000076 R11: 0000000000000246 R12: 000055d874c4b2e0
Feb 13 14:15:26 mkmv kernel: R13: 0000000000000001 R14: 0000000000000000 R15: 0000000000000000
Feb 13 14:21:57 mkmv systemd: systemd-logind.service still around after final SIGKILL. Entering failed mode.
Feb 13 14:21:57 mkmv systemd: Unit systemd-logind.service entered failed state.
Feb 13 14:21:57 mkmv systemd: systemd-logind.service failed.
Feb 13 14:21:57 mkmv systemd: systemd-logind.service has no holdoff time, scheduling restart.
Feb 13 14:21:57 mkmv systemd: Stopped Login Service.
Feb 13 14:21:57 mkmv systemd: Starting Login Service...
Feb 13 14:21:57 mkmv systemd-logind: Failed to register name: File exists
Feb 13 14:21:57 mkmv systemd-logind: Failed to fully start up daemon: File exists
Feb 13 14:21:57 mkmv systemd: systemd-logind.service: main process exited, code=exited, status=1/FAILURE
Re: Падает сервер в результате переполнения RAM
Есть swap раздел на Centos ?
Не получается все восстановить назад , делай backup давай делай backup
Re: Падает сервер в результате переполнения RAM
Похоже у меня такая же хрень после обновления панели. Лучше бы я её не обновлял.
Сегодня утром обнаружил, что отвалился мемкешед. Пытался перезапустить его, но никакие команды перезапуска, старта и стопа не работают, ни из консоли, ни из панели. Тоже самое касается nginx и всего остального. При попытке перезапустить nginx он просто упал и больше не поднялся. Всё решилось перезапуском сервера. Но через пару часов память и своп забились под завязку и процессор под 100% загружен, всё повисло.
Даже reboot из консоли не работает, а только из панели хостера!
Это капец какой-то!
Как откатить версию панели обратно?
Сегодня утром обнаружил, что отвалился мемкешед. Пытался перезапустить его, но никакие команды перезапуска, старта и стопа не работают, ни из консоли, ни из панели. Тоже самое касается nginx и всего остального. При попытке перезапустить nginx он просто упал и больше не поднялся. Всё решилось перезапуском сервера. Но через пару часов память и своп забились под завязку и процессор под 100% загружен, всё повисло.
Даже reboot из консоли не работает, а только из панели хостера!
Это капец какой-то!
Как откатить версию панели обратно?
Re: Падает сервер в результате переполнения RAM
Мне помогла полная переустановка сервера! Потому как разбираться почему глючит phpMyAdmin, почему пропали данные одного сайта и разалился nginx и прочие проблемы просто того не стоили!
Каждое обновление ставит нас на выживаемость! Это такая тактика? Когда мы наконец перестанем задать гамлетовский вопрос:"Быть или не быть..!"?
-
- Сообщения: 32
- Зарегистрирован: Вт фев 05, 2019 10:48 am
- Откуда: Санкт-Петербург
- Контактная информация:
Re: Падает сервер в результате переполнения RAM
эх сударь....vikont писал(а): ↑Пн фев 18, 2019 4:42 pmМне помогла полная переустановка сервера! Потому как разбираться почему глючит phpMyAdmin, почему пропали данные одного сайта и разалился nginx и прочие проблемы просто того не стоили!
Каждое обновление ставит нас на выживаемость! Это такая тактика? Когда мы наконец перестанем задать гамлетовский вопрос:"Быть или не быть..!"?
Re: Падает сервер в результате переполнения RAM
В общем последние пару месяцев я в полном разочаровании от панели. Вроде было всё нормально и вроде как обновы нормальные были... а щас полный отстой какой-то. Или разраб сменился или что, вообще не понятно, что происходит. На новом сервере естественно этой панели уже не будет. Печаль.
Re: Падает сервер в результате переполнения RAM
Разработчики, дайте какой-то ответ. Мне теперь что, перезагрузку сервера на крон что ли ставить? Я уже 3-й раз за день перезапускаю сервер, потому что переполняется память. Ничего подобного до обновления не было и близко.
Ваша панель ухайдокала сервер, дайте рецепт отката.
Ваша панель ухайдокала сервер, дайте рецепт отката.
Re: Падает сервер в результате переполнения RAM
Предлагаю лог выложить сюда , для удобства поставь себе cockpit и посмотреть в логах что твориться когда память переполняется , а то пальцем в небо будут советыDen писал(а): ↑Пн фев 18, 2019 7:34 pmРазработчики, дайте какой-то ответ. Мне теперь что, перезагрузку сервера на крон что ли ставить? Я уже 3-й раз за день перезапускаю сервер, потому что переполняется память. Ничего подобного до обновления не было и близко.
Ваша панель ухайдокала сервер, дайте рецепт отката.
Не получается все восстановить назад , делай backup давай делай backup
Re: Падает сервер в результате переполнения RAM
Можете связаться с нами в чате? Или предоставить рут доступ в личку? Мы посмотрим что не так.Den писал(а): ↑Пн фев 18, 2019 7:34 pmРазработчики, дайте какой-то ответ. Мне теперь что, перезагрузку сервера на крон что ли ставить? Я уже 3-й раз за день перезапускаю сервер, потому что переполняется память. Ничего подобного до обновления не было и близко.
Ваша панель ухайдокала сервер, дайте рецепт отката.
Re: Падает сервер в результате переполнения RAM
В логах всё стандартно при переполнении свопа и памяти — приходит OOM Killer и начинает всё уничтожать под корень. Сайты падают, и самое интересное, что сайты не поднять без перезапуска сервера. Т.е. основные команды запуска и перезапуска nginx, php, memcached не работают. Ни из панели, ни из консоли. Только ребут. При этом ещё, чем ближе дело подходит в краху, тем сильнее загружен HDD и уже перед самым концом начинаются из-за этого тормоза.Deite писал(а): ↑Вт фев 19, 2019 1:27 pmПредлагаю лог выложить сюда , для удобства поставь себе cockpit и посмотреть в логах что твориться когда память переполняется , а то пальцем в небо будут советыDen писал(а): ↑Пн фев 18, 2019 7:34 pmРазработчики, дайте какой-то ответ. Мне теперь что, перезагрузку сервера на крон что ли ставить? Я уже 3-й раз за день перезапускаю сервер, потому что переполняется память. Ничего подобного до обновления не было и близко.
Ваша панель ухайдокала сервер, дайте рецепт отката.
Всё началось на сл. день после обновления панели, вечером обновился, а утром я обнаружил убитый киллером мемкешед.
Вдобавок ко всему и панель криво обновилась. Данные в шапке панели криво отображаются и ещё там по мелочи есть косяки.
Консольные команды для принудительного обновления на указанную версию, которые я находил на форуме не работают. Т.е. при их запуске ничего не происходит. Короче полная лажа. Ни откатиться, ни накатить обнову заново.
Но это уже не сильно актуально, т.к. на сегодня запланирована переустановка ОС с другой панелью. С брайни прощаюсь до лучших времён. Возможно эта панель когда-то и будет конкурентноспособной.