Регистрация Войти
Рейтинг:0
Zak avatar Server

Apache зависает на 20 минут каждые несколько дней

флаг in
Zak

У меня чертовски много времени, чтобы понять это. Apache каждые несколько дней зависает примерно на 20 минут, а затем «возвращается к жизни». Это случилось посреди дня, это случилось посреди ночи. Сервер представляет собой мощный веб-сервер с 4 процессорами, 8 ГБ ОЗУ и еще одним свопом 12 ГБ. Я не вижу ничего, что выделяется в журналах ошибок. Может ли кто-нибудь увидеть что-нибудь в этих журналах, чтобы указать ПРОБЛЕМА? Поскольку все, что я вижу, выглядит как результат проблемы или симптом!

системный журнал

10 декабря 05:25:02 административное ядро: [397885.197196] [UFW BLOCK] IN=ens32 OUT= MAC=00:50:56:08:0d:03:00:50:56:08:09:19:08: 00 SRC=10.2.6.60 DST=10.2.6.80 LEN=60 TOS=0x00 PREC=0x00 TTL=64 ID=23622 DF PROTO=TCP SPT=59284 DPT=4949 WINDOW=29200 RES=0x00 SYN URGP=0
10 декабря 05:25:03 административное ядро: [397886.194931] [UFW BLOCK] IN=ens32 OUT= MAC=00:50:56:08:0d:03:00:50:56:08:09:19:08: 00 SRC=10.2.6.60 DST=10.2.6.80 LEN=60 TOS=0x00 PREC=0x00 TTL=64 ID=23623 DF PROTO=TCP SPT=59284 DPT=4949 WINDOW=29200 RES=0x00 SYN URGP=0
10 декабря 05:25:05 административное ядро: [397888.198941] [UFW BLOCK] IN=ens32 OUT= MAC=00:50:56:08:0d:03:00:50:56:08:09:19:08: 00 SRC=10.2.6.60 DST=10.2.6.80 LEN=60 TOS=0x00 PREC=0x00 TTL=64 ID=23624 DF PROTO=TCP SPT=59284 DPT=4949 WINDOW=29200 RES=0x00 SYN URGP=0
10 декабря 05:25:08 административное ядро: [397891.641472] [UFW BLOCK] IN=ens32 OUT= MAC=00:50:56:08:0d:03:00:a0:c9:27:01:01:08: 00 SRC=20.115.4.12 DST=10.2.6.80 LEN=40 TOS=0x00 PREC=0x00 TTL=115 ID=967 DF PROTO=TCP SPT=52268 DPT=80 WINDOW=2045 RES=0x00 ACK FIN URGP=0
10 декабря 05:25:08 административное ядро: [397891.974137] [UFW BLOCK] IN=ens32 OUT= MAC=00:50:56:08:0d:03:00:a0:c9:27:01:01:08: 00 SRC=18.206.39.189 DST=10.2.6.80 LEN=40 TOS=0x00 PREC=0x00 TTL=116 ID=28012 DF PROTO=TCP SPT=50916 DPT=443 WINDOW=0 RES=0x00 ACK RST URGP=0
10 декабря 05:25:08 административное ядро: [397891.974230] [UFW BLOCK] IN=ens32 OUT= MAC=00:50:56:08:0d:03:00:a0:c9:27:01:01:08: 00 SRC=18.206.39.189 DST=10.2.6.80 LEN=40 TOS=0x00 PREC=0x00 TTL=116 ID=28013 DF PROTO=TCP SPT=50866 DPT=80 WINDOW=1021 RES=0x00 ACK FIN URGP=0
10 декабря 05:25:09 административное ядро: [397892.210857] [UFW BLOCK] IN=ens32 OUT= MAC=00:50:56:08:0d:03:00:50:56:08:09:19:08: 00 SRC=10.2.6.60 DST=10.2.6.80 LEN=60 TOS=0x00 PREC=0x00 TTL=64 ID=23625 DF PROTO=TCP SPT=59284 DPT=4949 WINDOW=29200 RES=0x00 SYN URGP=0
10 декабря 05:25:09 администратор CRON[8325]: (root) CMD (sh /etc/apache2/websitesCron/apacheTest.sh)
10 декабря 05:25:09 admin CRON[8326]: (root) CMD (если [ -x /etc/munin/plugins/apt_all ]; то /etc/munin/plugins/apt_all update 7200 12 >/dev/null; elif [ -x /etc/munin/plugins/apt ]; затем /etc/munin/plugins/apt update 7200 12 >/dev/null; fi)
10 декабря 05:25:10 admin sm-mta[1501]: отклонение соединений на демоне MTA-v4: средняя нагрузка: 388
10 декабря 05:25:10 admin sm-mta[1501]: отклонение соединений на демоне MSP-v4: средняя нагрузка: 388
10 декабря 05:25:17 административное ядро: [397900.226738] [UFW BLOCK] IN=ens32 OUT= MAC=00:50:56:08:0d:03:00:50:56:08:09:19:08: 00 SRC=10.2.6.60 DST=10.2.6.80 LEN=60 TOS=0x00 PREC=0x00 TTL=64 ID=23626 DF PROTO=TCP SPT=59284 DPT=4949 WINDOW=29200 RES=0x00 SYN URGP=0
10 декабря 05:25:25 admin sm-mta[1501]: отклонение соединений на демоне MTA-v4: средняя нагрузка: 401
10 декабря 05:25:25 admin sm-mta[1501]: отклонение соединений на демоне MSP-v4: средняя нагрузка: 401
10 декабря 05:25:27 административное ядро: [397910.285120] [UFW BLOCK] IN=ens32 OUT= MAC=00:50:56:08:0d:03:00:a0:c9:27:01:01:08: 00 SRC=20.115.4.12 DST=10.2.6.80 LEN=40 TOS=0x00 PREC=0x00 TTL=115 ID=985 DF PROTO=TCP SPT=52268 DPT=80 WINDOW=0 RES=0x00 ACK RST URGP=0
10 декабря 05:25:33 административное ядро: [397916.242478] [UFW BLOCK] IN=ens32 OUT= MAC=00:50:56:08:0d:03:00:50:56:08:09:19:08: 00 SRC=10.2.6.60 DST=10.2.6.80 LEN=60 TOS=0x00 PREC=0x00 TTL=64 ID=23627 DF PROTO=TCP SPT=59284 DPT=4949 WINDOW=29200 RES=0x00 SYN URGP=0
10 декабря 05:25:34 admin sendmail[8390]: 1BABPXbK008390: from=root, size=425, class=0, nrcpts=1, msgid=<[email protected]>, bodytype=8BITMIME, relay= root@localhost
10 декабря 05:25:34 admin sendmail[8390]: 1BABPXbK008390: to=root, delay=00:00:01, mailer=relay, pri=30425, stat=queueed
10 декабря 05:25:40 admin sm-mta[1501]: отклонение соединений на демоне MTA-v4: средняя нагрузка: 413
10 декабря 05:25:40 admin sm-mta[1501]: отклонение соединений на демоне MSP-v4: средняя нагрузка: 413
10 декабря 05:25:55 admin sm-mta[1501]: отклонение соединений на демоне MTA-v4: средняя нагрузка: 419
10 декабря 05:25:55 admin sm-mta[1501]: отклонение соединений на демоне MSP-v4: средняя нагрузка: 419
10 декабря 05:26:04 admin CRON[8459]: (root) CMD (cp /var/spool/cron/crontabs/root /var/www/crontab/root && chmod 777 /var/www/crontab/root && chown зак:зак /var/www/crontab/root)
10 декабря 05:26:05 административное ядро: [397948.305893] [UFW BLOCK] IN=ens32 OUT= MAC=00:50:56:08:0d:03:00:50:56:08:09:19:08: 00 SRC=10.2.6.60 DST=10.2.6.80 LEN=60 TOS=0x00 PREC=0x00 TTL=64 ID=23628 DF PROTO=TCP SPT=59284 DPT=4949 WINDOW=29200 RES=0x00 SYN URGP=0
10 декабря 05:26:10 admin sm-mta[1501]: отклонение соединений на демоне MTA-v4: средняя нагрузка: 423
10 декабря 05:26:10 admin sm-mta[1501]: отклонение соединений на демоне MSP-v4: средняя нагрузка: 423
10 декабря 05:26:25 admin sm-mta[1501]: отклонение соединений на демоне MTA-v4: средняя нагрузка: 428
10 декабря 05:26:25 admin sm-mta[1501]: отклонение соединений на демоне MSP-v4: средняя нагрузка: 428
10 декабря 05:26:26 ядро ​​администратора: [397969.985342] [UFW BLOCK] IN=ens32 OUT= MAC=00:50:56:08:0d:03:00:a0:c9:27:01:01:08: 00 SRC=20.115.4.12 DST=10.2.6.80 LEN=40 TOS=0x00 PREC=0x00 TTL=115 ID=990 DF PROTO=TCP SPT=62843 DPT=80 WINDOW=2045 RES=0x00 ACK FIN URGP=0
10 декабря 05:26:29 административное ядро: [397972.391234] [UFW BLOCK] IN=ens32 OUT= MAC=00:50:56:08:0d:03:00:a0:c9:27:01:01:08: 00 SRC=20.115.4.12 DST=10.2.6.80 LEN=40 TOS=0x00 PREC=0x00 TTL=115 ID=995 DF PROTO=TCP SPT=62843 DPT=80 WINDOW=2045 RES=0x00 ACK FIN URGP=0
10 декабря 05:26:34 административное ядро: [397977.203821] [UFW BLOCK] IN=ens32 OUT= MAC=00:50:56:08:0d:03:00:a0:c9:27:01:01:08: 00 SRC=20.115.4.12 DST=10.2.6.80 LEN=40 TOS=0x00 PREC=0x00 TTL=115 ID=999 DF PROTO=TCP SPT=62843 DPT=80 WINDOW=2045 RES=0x00 ACK FIN URGP=0
10 декабря 05:26:40 admin sm-mta[1501]: отклонение соединений на демоне MTA-v4: средняя нагрузка: 436
10 декабря, 05:26:40 ядро ​​администратора: [397983.346629] apache2 вызвал oom-killer: gfp_mask=0x26000c0, order=2, oom_score_adj=0
10 декабря 05:26:40 административное ядро: [397983.346635] apache2 cpuset=/ mems_allowed=0
10 декабря 05:26:40 ядро ​​администратора: [397983.346644] ЦП: 0 PID: 8270 Связь: apache2 Не испорчен 4.4.0-119-универсальный # 143-Ubuntu
10 декабря 05:26:40 ядро ​​администратора: [397983.346646] Имя оборудования: VMware, Inc. Эталонная платформа для настольных ПК VMware Virtual Platform/440BX, BIOS 6.00 12/12/2018
10 декабря 05:26:40 административное ядро: [397983.346649] 0000000000000286 553e9d17649eeffd ffff8800138a7b10 ffffffff81400443
10 декабря 05:26:40 административное ядро: [397983.346652] ffff8800138a7cc8 ffff8800b8e5aa00 ffff8800138a7b80 ffffffff8121086e
10 декабря 05:26:40 административное ядро: [397983.346655] ffff88023fc1ad70 ffff88023fc1ad60 ffffea0006a80b00 0000000100000001
10 декабря 05:26:40 административное ядро: [397983.346657] Трассировка вызова:
10 декабря 05:26:40 административное ядро: [397983.346670] [<ffffffff81400443>] dump_stack+0x63/0x90
10 декабря 05:26:40 административное ядро: [397983.346677] [<ffffffff8121086e>] dump_header+0x5a/0x1c5
10 декабря 05:26:40 административное ядро: [397983.346682] [<ffffffff81196f32>] oom_kill_process+0x202/0x3c0
10 декабря 05:26:40 административное ядро: [397983.346685] [<ffffffff81197359>] out_of_memory+0x219/0x460
10 декабря 05:26:40 административное ядро: [397983.346689] [<ffffffff8119d3a5>] __alloc_pages_slowpath.constprop.88+0x965/0xb00
10 декабря 05:26:40 административное ядро: [397983.346692] [<ffffffff8119d7c8>] __alloc_pages_nodemask+0x288/0x2a0
10 декабря 05:26:40 административное ядро: [397983.346694] [<ffffffff8119d87b>] alloc_kmem_pages_node+0x4b/0xc0
10 декабря 05:26:40 административное ядро: [397983.346699] [<ffffffff8108077e>] copy_process+0x1be/0x1bb0
10 декабря 05:26:40 административное ядро: [397983.346703] [<ffffffff811a44f7>] ? lru_cache_add_active_or_unevictable+0x27/0xa0
10 декабря 05:26:40 административное ядро: [397983.346707] [<ffffffff811c6178>] ? handle_mm_fault+0xcc8/0x1820
10 декабря 05:26:40 административное ядро: [397983.346709] [<ffffffff81082300>] _do_fork+0x80/0x360
10 декабря 05:26:40 административное ядро: [397983.346712] [<ffffffff81082689>] SyS_clone+0x19/0x20
10 декабря 05:26:40 административное ядро: [397983.346717] [<ffffffff8184f708>] entry_SYSCALL_64_fastpath+0x1c/0xbb
10 декабря 05:26:40 ядро ​​администратора: [397983.346718] Информация о памяти:
10 декабря 05:26:40 административное ядро: [397983.346723] active_anon: 1463690 inactive_anon: 290454 изолированный_anon: 132
10 декабря 05:26:40 административное ядро: [397983.346723] активный_файл:17208 неактивный_файл:13369 изолированный_файл:0
10 декабря 05:26:40 административное ядро: [397983.346723] неотвратимый: 913 грязный: 0 обратная запись: 987 нестабильный: 0
10 декабря 05:26:40 административное ядро: [397983.346723] slab_reclaimable:19387 slab_unreclaimable:41949
10 декабря 05:26:40 административное ядро: [397983.346723] сопоставлено: 25866 шмем: 18736 таблицы страниц: 141112 отказов: 0
10 декабря 05:26:40 административное ядро: [397983.346723] бесплатно: 26269 free_pcp: 0 free_cma: 0
10 декабря 05:26:40 ядро ​​администратора: [397983.346728] Узел 0 DMA свободен: 15864 КБ мин: 132 КБ низкий: 164 КБ высокий: 196 КБ active_anon: 0 КБ inactive_anon: 0 КБ (файл): 0kB присутствует: 15992kB управляемый: 15904kB mlocked: 0kB грязный: 0kB обратная запись: 0kB сопоставленный: 0kB shmem: 0kB slab_reclaimable: 0kB slab_unreclaimable: 8kB kernel_stack: 0kB таблицы страниц: 0kB нестабильный: 0kB bounce: 0kB free_pcp: 0kB local_pcp: 0kB free_cma:0kB writeback_tmp:0kB pages_scanned:0 all_unreclaimable? да
10 декабря 05:26:40 административное ядро: [397983.346734] lowmem_reserve[]: 0 2937 7928 7928 7928
10 декабря 05:26:40 Ядра администратора: [397983.346737] Узел 0 DMA32 БЕСПЛАТНО: 44712KB Мин: 24988KB Низкий: 31232 КБ. (file):0kB present:3129216kB managed:3048436kB mlocked:1228kB dirty:0kB writeback:2620kB mapped:38304kB shmem:28716kB slab_reclaimable:25488kB slab_unreclaimable:70356kB kernel_stack:15136kB pagetables:261600kB unstable:0kB bounce:0kB free_pcp:0kB local_pcp:0kB free_cma:0kB writeback_tmp:0kB pages_scanned:0 all_unreclaimable? нет
10 декабря 05:26:40 административное ядро: [397983.346743] lowmem_reserve[]: 0 0 4990 4990 4990
10 декабря 05:26:40 ядро ​​администратора: [397983.346745] Узел 0 Обычный свободный: 44500 КБ мин.: 42460 КБ низкий: 53072 КБ высокий: 63688 КБ active_anon: 3817504 КБ inactive_anon: 646136 КБ (file):0kB present:5242880kB managed:5110492kB mlocked:2424kB dirty:0kB writeback:1328kB mapped:65160kB shmem:46228kB slab_reclaimable:52060kB slab_unreclaimable:97432kB kernel_stack:13728kB pagetables:302848kB unstable:0kB bounce:0kB free_pcp:0kB local_pcp:0kB free_cma:0kB writeback_tmp:0kB pages_scanned:0 all_unreclaimable? нет
10 декабря 05:26:40 административное ядро: [397983.346750] lowmem_reserve[]: 0 0 0 0 0
10 декабря 05:26:40 ядро ​​администратора: [397983.346752] Узел 0 DMA: 0*4 КБ 1*8 КБ (U) 1*16 КБ (U) 1*32 КБ (U) 1*64 КБ (U) 1*128 КБ (U) 1*256 КБ (U) 0*512 КБ 1*1024 КБ (U) 1*2048 КБ (M) 3*4096 КБ (M) = 15864 КБ
10 декабря 05:26:40 ядро ​​администратора: [397983.346762] Узел 0 DMA32: 6731*4 КБ (UM) 2257*8 КБ (UM) 0*16 КБ 0*32 КБ 0*64 КБ 0*128 КБ 0*256 КБ 0*512 КБ 0*1024 КБ 0*2048кБ 0*4096кБ = 44980кБ
10 декабря 05:26:40 ядро ​​администратора: [397983.346768] Узел 0 Обычный: 10918*4 КБ (UMEH) 49*8 КБ (UMH) 0*16 КБ 1*32 КБ (H) 1*64 КБ (H) 3*128 КБ (H) 0*256 КБ 1*512 КБ (Г) 0*1024 КБ 0*2048 КБ 0*4096 КБ = 45056 КБ
10 декабря 05:26:40 административное ядро: [397983.346777] Узел 0 hugepages_total=0 hugepages_free=0 hugepages_surp=0 hugepages_size=2048kB
10 декабря 05:26:40 административное ядро: [397983.346779] всего 68538 страниц кэша страниц
10 декабря, 05:26:40 ядро ​​администратора: [397983.346781] 18641 страница в кеше подкачки
10 декабря 05:26:40 ядро ​​администратора: [397983.346783] Статистика кеша подкачки: добавить 383468753, удалить 383450112, найти 229519152/378197444
10 декабря 05:26:40 административное ядро: [397983.346784] Свободный своп = 1252280 КБ
10 декабря 05:26:42 административное ядро: [397983.346785] Общий объем подкачки = 11717628 КБ
10 декабря 05:26:42 ядро ​​администратора: [397983.346787] 2097022 страницы ОЗУ
10 декабря 05:26:42 административное ядро: [397983.346788] 0 страниц HighMem/MovableOnly
10 декабря 05:26:42 административное ядро: [397983.346789] зарезервировано 53314 страниц
10 декабря 05:26:42 административное ядро: [397983.346790] 0 страниц cma зарезервировано
10 декабря 05:26:42 ядро ​​администратора: [397983.346791] 0 страниц hwpoisoned
10 декабря 05:26:42 ядро ​​администратора: [397983.346793] [ pid ] uid tgid total_vm rss nr_ptes nr_pmds swapents имя oom_score_adj
10 декабря 05:26:42 ядро ​​администратора: [397983.346800] [409] 0 409 10976 822 24 3 602 0 systemd-journal
10 декабря 05:26:42 ядро ​​администратора: [397983.346803] [451] 0 451 23693 83 17 3 50 0 lvmetad
10 декабря 05:26:42 ядро ​​администратора: [397983.346805] [470] 0 470 11415 242 22 3 485 -1000 systemd-udevd
10 декабря 05:26:42 административное ядро: [397983.346808] [784] 0 784 47527 409 52 3 223 0 vmtoolsd
10 декабря 05:26:42 административное ядро: [397983.346811] [ 838] 0 838 5884 0 16 3 51 0 rpc.idmapd
10 декабря 05:26:42 ядро ​​администратора: [397983.346813] [842] 100 842 25081 132 20 3 52 0 systemd-timesyn
10 декабря 05:26:42 ядро ​​администратора: [397983.346816] [934] 0 934 11906 140 27 3 109 0 rpcbind
10 декабря 05:26:42 административное ядро: [397983.346818] [948] 0 948 151028 166 28 4 213 0 lxcfs
10 декабря 05:26:42 административное ядро: [397983.346821] [953] 0 953 7252 456 19 3 48 0 cron
10 декабря 05:26:42 ядро ​​администратора: [397983.346823] [959] 0 959 1099 335 8 3 40 0 ​​acpid
10 декабря 05:26:42 ядро ​​администратора: [397983.346826] [961] 0 961 7165 239 19 3 57 0 systemd-logind
10 декабря 05:26:42 ядро ​​администратора: [397983.346828] [967] 108 967 10725 566 25 3 76 -900 dbus-daemon
10 декабря 05:26:42 административное ядро: [397983.346831] [1047] 0 1047 21359 342 32 3 347 0 VGAuthService
10 декабря 05:26:42 ядро ​​администратора: [397983.346833] [1049] 0 1049 68974 456 37 3 224 0 учетные записи-демон
10 декабря 05:26:42 административное ядро: [397983.346835] [1051] 0 1051 6511 391 18 3 47 0 atd
10 декабря 05:26:42 административное ядро: [397983.346838] [1056] 104 1056 64099 457 29 3 367 0 rsyslogd
10 декабря 05:26:42 административное ядро: [397983.346841] [1148] 0 1148 3343 51 11 3 23 0 mdadm
10 декабря 05:26:42 административное ядро: [397983.346843] [1179] 0 1179 6011 251 16 3 89 0 vsftpd
10 декабря 05:26:42 ядро ​​администратора: [397983.346845] [1189] 0 1189 69278 506 40 4 122 0 polkitd
10 декабря 05:26:42 административное ядро: [397983.346848] [1194] 0 1194 1305 358 9 3 61 0 iscsid
10 декабря 05:26:42 ядро ​​администратора: [397983.346850] [1195] 0 1195 1430 879 10 3 0 -17 iscsid
10 декабря 05:26:42 административное ядро: [397983.346853] [1207] 0 1207 9494 0 22 3 190 0 rpc.mountd
10 декабря 05:26:42 административное ядро: [397983.346856] [1221] 0 1221 16378 339 36 3 196 -1000 sshd
10 декабря 05:26:42 ядро ​​администратора: [397983.346859] [1296] 0 1296 16458 453 37 4 128 0 логин
10 декабря 05:26:42 ядро ​​администратора: [397983.346861] [1326] 0 1326 4905 284 14 3 39 0 irqbalance
10 декабря 05:26:42 ядро ​​администратора: [397983.346864] [1420] 0 1420 13514 229 30 3 2438 0 munin-node
10 декабря 05:26:42 ядро ​​администратора: [397983.346866] [1501] 0 1501 26199 440 51 4 470 0 sendmail-mta
10 декабря 05:26:42 административное ядро: [397983.346869] [1681] 0 1681 109282 257 171 3 1936 0 php-fpm7.0
10 декабря 05:26:42 административное ядро: [397983.346871] [1687] 33 1687 109282 184 152 3 1961 0 php-fpm7.0
10 декабря 05:26:42 административное ядро: [397983.346873] [1688] 33 1688 109282 184 152 3 1961 0 php-fpm7.0
10 декабря 05:26:42 административное ядро: [397983.346876] [16727] 1000 16727 11330 422 25 3 217 0 systemd
10 декабря 05:26:42 административное ядро: [397983.346878] [16731] 1000 16731 ​​52186 0 37 3 501 0 (sd-pam)
10 декабря 05:26:42 административное ядро: [397983.346881] [16734] 1000 16734 5900 357 18 4 725 0 bash
10 декабря 05:26:42 административное ядро: [397983.346884] [11281] 119 11281 69349 594 88 3 1257 0 freshclam
10 декабря 05:26:42 административное ядро: [397983.346886] [32663] 0 32663 23229 459 48 3 258 0 sshd
10 декабря 05:26:42 административное ядро: [397983.346889] [32740] 1000 32740 23668 373 48 3 743 0 sshd
10 декабря 05:26:42 административное ядро: [397983.346892] [22943] 0 22943 23229 330 51 3 272 0 sshd
10 декабря 05:26:42 административное ядро: [397983.346894] [23020] 1000 23020 23229 332 49 3 247 0 sshd
10 декабря 05:26:42 ядро ​​администратора: [397983.346897] [23023] 1000 23023 3220 393 12 3 51 0 sftp-сервер
10 декабря 05:26:42 ядро ​​администратора: [397983.346899] [24027] 1000 24027 3220 381 12 3 67 0 sftp-сервер
10 декабря 05:26:42 ядро ​​администратора: [397983.346902] [27215] 1000 27215 3220 378 12 3 95 0 sftp-сервер
10 декабря 05:26:42 административное ядро: [397983.346904] [13006] 0 13006 168834 2419 280 3 29858 0 apache2
10 декабря 05:26:42 административное ядро: [397983.346907] [15772] 33 15772 385874 34986 583 4 67131 0 apache2
10 декабря 05:26:42 административное ядро: [397983.346909] [15773] 33 15773 381008 40856 579 4 53799 0 apache2
10 декабря 05:26:42 административное ядро: [397983.346912] [15776] 33 15776 297940 35288 395 4 53305 0 apache2
10 декабря 05:26:42 административное ядро: [397983.346915] [15777] 33 15777 303389 37051 415 4 49856 0 apache2
10 декабря 05:26:42 административное ядро: [397983.346919] [15779] 33 15779 303184 39806 403 4 46606 0 apache2
10 декабря 05:26:42 административное ядро: [397983.346922] [15782] 33 15782 304265 46518 404 4 43859 0 apache2
10 декабря 05:26:42 административное ядро: [397983.346925] [15786] 33 15786 371258 41084 557 4 49806 0 apache2
10 декабря 05:26:42 административное ядро: [397983.346929] [15787] 33 15787 302813 34962 403 4 53776 0 apache2
10 декабря 05:26:42 административное ядро: [397983.346931] [15789] 33 15789 380748 35019 567 4 52932 0 apache2
10 декабря 05:26:42 административное ядро: [397983.346934] [15799] 33 15799 384260 39566 561 4 55415 0 apache2
10 декабря 05:26:42 административное ядро: [397983.346936] [15800] 33 15800 374314 29895 544 4 52106 0 apache2
10 декабря 05:26:42 административное ядро: [397983.346939] [15801] 33 15801 380377 34701 565 4 53467 0 apache2
10 декабря 05:26:42 административное ядро: [397983.346941] [15802] 33 15802 306345 35364 424 4 57003 0 apache2
........
10 декабря 05:33:29 admin sm-mta[1501]: отклонение соединений на демоне MTA-v4: средняя нагрузка: 570
10 декабря 05:33:29 admin sm-mta[1501]: отклонение соединений на демоне MSP-v4: средняя нагрузка: 570
10 декабря 05:33:29 admin sm-mta[1501]: отклонение соединений на демоне MTA-v4: средняя нагрузка: 556
10 декабря 05:33:29 admin sm-mta[1501]: отклонение соединений на демоне MSP-v4: средняя нагрузка: 556
10 декабря 05:33:29 admin sm-mta[1501]: отклонение соединений на демоне MTA-v4: средняя нагрузка: 539
10 декабря 05:33:29 admin sm-mta[1501]: отклонение соединений на демоне MSP-v4: средняя нагрузка: 539
10 декабря 05:33:29 admin sm-mta[1501]: отклонение соединений на демоне MTA-v4: средняя нагрузка: 525
10 декабря 05:33:29 admin sm-mta[1501]: отклонение соединений на демоне MSP-v4: средняя нагрузка: 525
......
10 декабря 06:27:15 ядро ​​администратора: [401618.309140] Недостаточно памяти: убить процесс 15801 (apache2), набрать 14 очков или пожертвовать ребенком
10 декабря, 06:27:15 ядро ​​администратора: [401618.309960] Убитый процесс 15801 (apache2) total-vm: 1521508kB, anon-rss: 23236kB, file-rss: 0kB
10 декабря 06:27:21 администратор CRON[12717]: (root) CMD (cp /var/spool/cron/crontabs/root /var/www/crontab/root && chmod 777 /var/www/crontab/root && chown зак:зак /var/www/crontab/root)
10 декабря 06:27:21 admin sm-mta[1501]: отклонение соединений на демоне MTA-v4: средняя нагрузка: 459
10 декабря 06:27:21 admin sm-mta[1501]: отклонение соединений на демоне MSP-v4: средняя нагрузка: 459
10 декабря 06:27:29 административное ядро: [401632.351612] [UFW BLOCK] IN=ens32 OUT= MAC=00:50:56:08:0d:03:00:a0:c9:27:01:01:08: 00 SRC=209.85.238.216 DST=10.2.6.80 LEN=40 TOS=0x00 PREC=0x00 TTL=255 ID=42747 PROTO=TCP SPT=49490 DPT=443 WINDOW=243 RES=0x00 ACK RST URGP=0
10 декабря 06:27:30 admin sm-mta[1501]: отклонение соединений на демоне MTA-v4: средняя нагрузка: 475
10 декабря 06:27:30 admin sm-mta[1501]: отклонение соединений на демоне MSP-v4: средняя нагрузка: 475
10 декабря 06:27:43 администратор apache2[12635]: *
10 декабря 06:27:43 admin systemd[1]: Остановлен LSB: веб-сервер Apache2.
10 декабря 06:27:43 admin systemd[1]: Запуск LSB: веб-сервер Apache2...
10 декабря 06:27:43 admin apache2[12749]: * Запуск веб-сервера Apache httpd apache2
10 декабря 06:27:45 admin sm-mta[1501]: отклонение соединений на демоне MTA-v4: средняя нагрузка: 370
10 декабря 06:27:45 admin sm-mta[1501]: отклонение соединений на демоне MSP-v4: средняя нагрузка: 370
10 декабря 06:27:49 admin systemd[1]: запуск ежедневного обновления и очистки...
10 декабря 06:27:49 ядро ​​администратора: [401652.463319] [UFW BLOCK] IN=ens32 OUT= 
MAC=00:50:56:08:0d:03:00:a0:c9:27:01:01:08:00 SRC=123.183.224.66 DST=10.2.6.80 LEN=40 TOS=0x00 PREC=0x00 TTL= 255 ID=41274 PROTO=TCP SPT=45696 DPT=443 WINDOW=243 RES=0x00 ACK RST URGP=0
    10 декабря 06:27:54 admin apache2[12749]: [Пт, 10 декабря 06:27:54.747509 2021] [proxy_html:notice] [pid 12805] AH01425: для поддержки I18n в mod_proxy_html требуется mod_xml2enc. Без него символы, отличные от ASCII, на проксируемых страницах, скорее всего, будут отображаться неправильно.
c 10 06:28:09 административное ядро: [401672.878972] [UFW BLOCK] IN=ens32 OUT= MAC=00:50:56:08:0d:03:00:a0:c9:27:01:01:08: 00 SRC=76.99.197.116 DST=10.2.6.80 LEN=40 TOS=0x00 PREC=0x00 TTL=255 ID=52726 PROTO=TCP SPT=55476 DPT=443 WINDOW=248 RES=0x00 ACK RST URGP=0
10 декабря 06:28:15 admin sm-mta[1501]: отклонение соединений на демоне MTA-v4: средняя нагрузка: 225
10 декабря 06:28:15 admin sm-mta[1501]: отклонение соединений на демоне MSP-v4: средняя нагрузка: 225
10 декабря 06:28:30 административное ядро: [401693.571187] [UFW BLOCK] IN=ens32 OUT= MAC=00:50:56:08:0d:03:00:a0:c9:27:01:01:08: 00 SRC=185.191.171.2 DST=10.2.6.80 LEN=40 TOS=0x00 PREC=0x00 TTL=57 ID=0 DF PROTO=TCP SPT=42580 DPT=443 WINDOW=0 RES=0x00 RST URGP=0
10 декабря 06:28:30 admin sm-mta[1501]: отклонение соединений на демоне MTA-v4: средняя нагрузка: 176
10 декабря 06:28:30 admin sm-mta[1501]: отклонение соединений на демоне MSP-v4: средняя нагрузка: 176
10 декабря 06:28:45 admin sm-mta[1501]: отклонение соединений на демоне MTA-v4: средняя нагрузка: 139
10 декабря 06:28:45 admin sm-mta[1501]: отклонение соединений на демоне MSP-v4: средняя нагрузка: 139
10 декабря 06:28:49 ядро ​​администратора: [401712.942365] [UFW BLOCK] IN=ens32 OUT= MAC=00:50:56:08:0d:03:00:a0:c9:27:01:01:08: 00 SRC=95.217.225.110 DST=10.2.6.80 LEN=40 TOS=0x00 PREC=0x00 TTL=255 ID=44271 PROTO=TCP SPT=36124 DPT=443 WINDOW=254 RES=0x00 ACK RST URGP=0
10 декабря, 06:29:00 admin sm-mta[1501]: отклонение соединений на демоне MTA-v4: средняя нагрузка: 109
10 декабря 06:29:00 admin sm-mta[1501]: отклонение соединений на демоне MSP-v4: средняя нагрузка: 109
10 декабря 06:29:01 admin CRON[13228]: (root) CMD (cp /var/spool/cron/crontabs/root /var/www/crontab/root && chmod 777 /var/www/crontab/root && chown зак:зак /var/www/crontab/root)
10 декабря 06:29:15 admin sm-mta[1501]: отклонение соединений на демоне MTA-v4: средняя нагрузка: 87
10 декабря 06:29:15 admin sm-mta[1501]: отклонение соединений на демоне MSP-v4: средняя нагрузка: 87
10 декабря 06:29:30 admin sm-mta[1501]: отклонение соединений на демоне MTA-v4: средняя нагрузка: 69
10 декабря 06:29:30 admin sm-mta[1501]: отклонение соединений на демоне MSP-v4: средняя нагрузка: 69
10 декабря 06:29:45 admin sm-mta[1501]: отклонение соединений на демоне MTA-v4: средняя нагрузка: 55
10 декабря 06:29:45 admin sm-mta[1501]: отклонение соединений на демоне MSP-v4: средняя нагрузка: 55
10 декабря 06:29:53 административное ядро: [401776.578209] [UFW BLOCK] IN=ens32 OUT= MAC=00:50:56:08:0d:03:00:a0:c9:27:01:01:08: 00 SRC=116.179.37.124 DST=10.2.6.80 LEN=40 TOS=0x00 PREC=0x00 TTL=255 ID=47773 PROTO=TCP SPT=52871 DPT=443 WINDOW=246 RES=0x00 ACK RST URGP=0
10 декабря, 06:30:00 admin sm-mta[1501]: снова принимает соединения для демона MTA-v4
10 декабря, 06:30:00 admin sm-mta[1501]: снова принимает соединения для демона MSP-v4

Журнал ошибок апача

[Пятница, 10 декабря, 05:23:33.884301 2021] [pagespeed:warn] [pid 7829] [mod_pagespeed 1.13.35.2-0 @7829] Время ожидания выборки истекло: https://|-REMOVED-|/css/fontawesome.css ( подключение к: 10.2.6.80) (4) ожидание 50 мс
[Пт, 10 декабря, 05:23:33.927235 2021] [pagespeed:error] [pid 7881] [mod_pagespeed 1.13.35.2-0 @7881] Медленная операция записи в файл /var/cache/mod_pagespeed/v3/|-REMOVED-|/ https,3A/,2F|-УДАЛЕН-|/css/animate.css+stylesheet-1625614552.css+Contact-Us-1625614552.css.pagespeed.cc.0HlzBptJqh.css,.tempC6gpkp: 2974,19 мс; настроить SlowFileLatencyUs для изменения порога\n
[Пт, 10 декабря, 05:23:34.012843 2021] [pagespeed:warn] [pid 15909] [mod_pagespeed 1.13.35.2-0 @15909] Время ожидания выборки истекло: https://|-REMOVED-|/imageserver/confirm/buttons. png (подключение к: 10.2.6.80) (1) ожидание 50 мс
[Пт, 10 декабря, 05:23:34.036279 2021] [pagespeed:warn] [pid 7368] [mod_pagespeed 1.13.35.2-0 @7368] Время ожидания выборки истекло: https://|-REMOVED-|/css/images/layers- 2x.png (подключение к: 10.2.6.80) (1) ожидание 50 мс
[Пт, 10 декабря, 05:23:34.190221 2021] [pagespeed:warn] [pid 7615] [mod_pagespeed 1.13.35.2-0 @7615] Время ожидания выборки истекло: https://|-REMOVED-|/imageserver/confirm/ie. png (подключение к: 10.2.6.80) (1) ожидание 50 мс
[Пт, 10 декабря, 05:23:34.291732 2021] [pagespeed:error] [pid 7314] [mod_pagespeed 1.13.35.2-0 @7314] Медленная операция чтения файла в файле /var/cache/mod_pagespeed/v3/|-REMOVED-|/ https,3A/,2F|-УДАЛЕН-|/css/presidential-solaris-1.css,: 333,858 мс; настроить SlowFileLatencyUs для изменения порога\n
.........
[Пт, 10 декабря, 06:26:59.176654 2021] [core:warn] [pid 13006] AH00045: дочерний процесс 7180 все еще не завершился, отправив SIGTERM
[Пт, 10 декабря, 06:26:59.619326 2021] [core:warn] [pid 13006] AH00045: дочерний процесс 7181 все еще не завершился, отправив SIGTERM
[Пт, 10 декабря, 06:26:59.619410 2021] [core:warn] [pid 13006] AH00045: дочерний процесс 7182 все еще не завершен, отправка SIGTERM
[Пт, 10 декабря, 06:26:59.619449 2021] [core:warn] [pid 13006] AH00045: дочерний процесс 7183 все еще не завершился, отправив SIGTERM
[Пт, 10 декабря, 06:26:59.619492 2021] [core:warn] [pid 13006] AH00045: дочерний процесс 7184 все еще не завершен, отправка SIGTERM
[Пт, 10 декабря, 06:26:59.619529 2021] [core:warn] [pid 13006] AH00045: дочерний процесс 7185 все еще не завершился, отправив SIGTERM
.......
[Пт, 10 декабря, 06:27:23.205977 2021] [core:error] [pid 13006] AH00047: не удалось завершить дочерний процесс 7184, попытка продолжить работу в любом случае
[Пт, 10 декабря, 06:27:23.206200 2021] [core:error] [pid 13006] AH00047: не удалось завершить дочерний процесс 7326, попытка продолжить работу в любом случае
[Пт, 10 декабря, 06:27:23.206283 2021] [core:error] [pid 13006] AH00047: не удалось завершить дочерний процесс 7338, попытка продолжить работу в любом случае
[Пт, 10 декабря, 06:27:23.206418 2021] [core:error] [pid 13006] AH00047: не удалось завершить дочерний процесс 7353, попытка продолжить работу в любом случае
[Пт, 10 декабря, 06:27:23.206562 2021] [core:error] [pid 13006] AH00047: не удалось завершить дочерний процесс 7362, попытка продолжить работу в любом случае
.........
Пт, 10 декабря, 06:27:23.323233 2021] [mpm_prefork:notice] [pid 13006] AH00169: обнаружен SIGTERM, завершение работы

Вот как «выглядит» время простоя:

График простоя

И точное время, которое поймал наш детектор простоя, было:

ВНИЗ: 2021-12-10 05:26:33 УТК-6
ВВЕРХ: 2021-12-10 05:45:02 УТК-6

65
0 + 0
флаг us
cutrightjm
У вас есть дополнительная информация, такая как версия Apache, есть ли на сервере AV, работает ли на нем определенная CMS/программное обеспечение поверх Apache? Примерно когда это началось?
0
Ответить
Zak avatar
флаг in
Zak
Он работает около 800 веб-сайтов ..Существует минимальная пользовательская CMS для отслеживания клиентских данных, но сайты не управляются базой данных. Убунту 16.04 Апач 2.4.18. Без головы -
0
Ответить
Рейтинг:0
Zak avatar Server
флаг in
Zak

Хорошо для тех, кто в моей ситуации столкнется с этим в будущем. Это решение, хотя и хакерское.

Я заметил, что если я отключу PageSpeed, проблема будет ограничена. Я посмотрел на свой средний запрос Apache, и он был 62 МБ. Я разделил это на оставшуюся оперативную память для запуска всех других ресурсов. У меня осталось 6 ГБ. Я изменил Max Server и Max Client с 256 на 128 -- Это помогло -- Но не "решило" проблему.

Затем я заметил, что pagespeed не сохраняет физические файлы в /var/cache/mod_pagespeed так быстро, как я ожидал. Вместо этого он использует пространство ОЗУ, даже если использует строку внутри конф файл:

ModPagespeedFileCachePath "/var/cache/mod_pagespeed/"

Тогда у меня появилась идея. Что делает pagespeed во время изящного перезапуска apache, когда ОЗУ недоступно.. Он хранится в локальном /вар/кэш/ директория какая.

Так как моя веб-конфигурация статична, а файлы конфигурации никогда не меняются. Я написал служба перезагрузки апача в cron, который запускается каждые 30 минут. Теперь Pagespeed заполняет диск переменная/кэш и не заполняет оперативную память до взрыва.

ПРИМЕЧАНИЕ Если вы используете более 1000 веб-сайтов, как и мы. Убедитесь, что у вас достаточно места для кэширования физических файлов каждого сайта. В конечном итоге это займет гигабайты пространства.Но именно так работает PageSpeed. В противном случае вы быстро заполните свой диск. Использование моего диска увеличилось со 102 ГБ до 165 ГБ в течение нескольких часов ... На диске емкостью 1 ТБ это тривиально ... Но если бы у меня был диск емкостью 200 ГБ, это могло бы беспокоить ...

0 + 0
флаг Moldova
Admin
Этот вопрос на других языках:

Ответить или комментировать

Большинство людей не понимают, что склонность к познанию нового открывает путь к обучению и улучшает межличностные связи. В исследованиях Элисон, например, хотя люди могли точно вспомнить, сколько вопросов было задано в их разговорах, они не чувствовали интуитивно связи между вопросами и симпатиями. В четырех исследованиях, в которых участники сами участвовали в разговорах или читали стенограммы чужих разговоров, люди, как правило, не осознавали, что задаваемый вопрос повлияет — или повлиял — на уровень дружбы между собеседниками.