[linux] ijverige webcrawlers of toch niet

[Geert Stappers]

Op Thu, Mar 13, 2025 at 09:00:18PM +0100, Willem Ligtenberg via Linux schreef:
> |
> On 11-03-2025 22:31, Geert Stappers via Linux wrote:
> > Hoi,
> > 
> > Dat vorige week de NLLGG website nogal wat onderbrekingen kende
> > was best vervelend.
> > 
> > De Out of Memory killer stopte de database server om geheugen
> > vrij te krijgen voor andere processen. Door setting 'OOMScoreAdjust=-600'
> > blijft nu de OOM-killer van de database server af.
> > 
> > Welke webrequests de server zo ver kregen dat er ingegrepen werd,
> > daar hebben wij, NLLGG server beheer commissie, graag hulp bij.
> > 
> > De Apache log files en tijdstippen van OOM ingreep staan
> > ophttps://gitlab.com/nllgg/apache_log_mariadb_oom_killed
> > 
> > Met behulp van
> >    git clonehttps://gitlab.com/nllgg/apache_log_mariadb_oom_killed.git
> > heb je een kopie. Bijvoorbeeld om jouw analyze tools er op los te laten.
> > 
> > Het vermoeden is dat overijverige webcrawlers de oorzaak zijn,
> > maar of dat ook echt zo is???
> > 
> 
> Misschien is het niets, maar vlak voor de issues komen zie ik requests van
> deze in de access.log:
> 2001:db8::dda - - [05/Mar/2025:13:19:19 +0000] "GET / HTTP/1.1" 200 3380 "-"
> "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like
> Gecko) Chrome/90.0.4430.85 Safari/537.36 Edg/90.0.818.46"
> 
> Toch zeker in 3 van de gevallen, daarna ontstaan er veel:
> |::1 - - [05/Mar/2025:13:37:02 +0000] "OPTIONS * HTTP/1.0" 200 126 "-"
> "Apache/2.4.62 (Debian) OpenSSL/3.0.15 (internal dummy connection)"
> entries
> 
> Dat kan te maken hebben met grote requests. Jullie hebben de echte IPs van
> die requester, als dat ook nog eens steeds hetzelfde is, zou ik even kijken
> waar die vandaan komt.

Stukje output van `whois echte_IP_adres`
|route:          185.16.38.0/23
|origin:         AS201814
|mnt-by:         SKYTECH-MNT

 
> My 2 cents. :)
> 
> Willem

Groeten
Geert Stappers
-- 
Silence is hard to parse