[linux] ijverige webcrawlers of toch niet

[Willem Ligtenberg]

Hoi Geert,

Misschien is het niets, maar vlak voor de issues komen zie ik requests 
van deze in de access.log:
2001:db8::dda - - [05/Mar/2025:13:19:19 +0000] "GET / HTTP/1.1" 200 3380 
"-" "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 
(KHTML, like Gecko) Chrome/90.0.4430.85 Safari/537.36 Edg/90.0.818.46"

Toch zeker in 3 van de gevallen, daarna ontstaan er veel:
|::1 - - [05/Mar/2025:13:37:02 +0000] "OPTIONS * HTTP/1.0" 200 126 "-" 
"Apache/2.4.62 (Debian) OpenSSL/3.0.15 (internal dummy connection)"
entries

Dat kan te maken hebben met grote requests. Jullie hebben de echte IPs 
van die requester, als dat ook nog eens steeds hetzelfde is, zou ik even 
kijken waar die vandaan komt.

My 2 cents. :)

Willem
|
On 11-03-2025 22:31, Geert Stappers via Linux wrote:
> Hoi,
>
> Dat vorige week de NLLGG website nogal wat onderbrekingen kende
> was best vervelend.
>
> De Out of Memory killer stopte de database server om geheugen
> vrij te krijgen voor andere processen. Door setting 'OOMScoreAdjust=-600'
> blijft nu de OOM-killer van de database server af.
>
> Welke webrequests de server zo ver kregen dat er ingegrepen werd,
> daar hebben wij, NLLGG server beheer commissie, graag hulp bij.
>
> De Apache log files en tijdstippen van OOM ingreep staan
> ophttps://gitlab.com/nllgg/apache_log_mariadb_oom_killed
>
> Met behulp van
>    git clonehttps://gitlab.com/nllgg/apache_log_mariadb_oom_killed.git
> heb je een kopie. Bijvoorbeeld om jouw analyze tools er op los te laten.
>
> Het vermoeden is dat overijverige webcrawlers de oorzaak zijn,
> maar of dat ook echt zo is???
>
>
> Groeten
> Geert Stappers
> In zijn rol als lid van de NLLGG server beheer commissie
------------- volgend deel ------------
Een HTML-bijlage is gescrubt...
URL: <https://lists.nllgg.nl/pipermail/linux/attachments/20250313/0cafb50f/attachment.htm>