[linux] ijverige webcrawlers of toch niet

[Paul Slootman]

On Tue 11 Mar 2025, Geert Stappers via Linux wrote:

> De Apache log files en tijdstippen van OOM ingreep staan
> op https://gitlab.com/nllgg/apache_log_mariadb_oom_killed

> Het vermoeden is dat overijverige webcrawlers de oorzaak zijn,
> maar of dat ook echt zo is???

Eigenlijk zie ik nooit iets bijzonders rond de OOM tijden. Alleen dat
dan de webserver HTTP code 408 geeft.

De fout "Request exceeded the limit of 10 internal redirects due to
probable configuration error." komt wel heel veel voor. Ook "Maximum
execution time of 30 seconds exceeded"; dat zou niet door zomaar een
request mogen komen.

Ik zie ook de IP's uit wordpress_multisite_nllgg-error.log nergens terug
in de access logs? Of zijn ze per file opnieuw geanonymiseerd?

PHP Warning:  PHP Startup: Unable to load dynamic library 'mysqli'
(tried: /usr/lib/php/20220829/mysqli (/usr/lib/php/20220829/mysqli:
cannot open shared object file: No such file or directory),
/usr/lib/php/20220829/mysqli.so (/usr/lib/php/20220829/mysqli.so:
undefined symbol: mysqlnd_global_stats))

klinkt ook niet gezond.

Is de server wel correct gedimensioneerd? Ik heb nog nooit een mysql
server gekilled zien worden door OOM. Hebben alle tables wel de juiste
indexen? Nu ren ik zelf altijd hard weg bij wordpress, wat een drama is
dat meestal; in mijn ervaring enablen webdevs altijd allerlei mogelijke
plugins waardoor het traag wordt; dat lijkt hier wel mee te vallen.

Ik zou zelf gaan kijken of alle foutmeldingen op te lossen zijn door
configuratie aanpassingen.

Zelf gebruik ik altijd haproxy voor apache, ten eerste om SSL offloading
te doen (ik heb altijd wat ruzie met apache's SSL config), maar ook is
haproxy heel robuust tegen allerlei netwerk shit. Zo voorkom je al dat
het nodig bij apache aankomt.


Paul