[linux] Re: Zin en onzin van callback en check op postmaster@ met Exim

[Kees Theunissen]

On Thu, 7 Jun 2007, Peter Fokker wrote:

>De laatste tijd krijg ik steeds vaker klachten van gebruikers dat
>bepaalde mailtjes van derden niet aankomen op de (Linux-)server.

Het ideale spamfilter houdt alle spam tegen en laat alle gewenste
mail door. Maar dat ideale filter bestaat niet. Je zult altijd een
balans moeten zoeken tussen te veel tegenhouden en te veel doorlaten.
Als gebruikers gaan klagen dat gewenste mail niet doorkomt dan ben
je in mijn ogen te rigoreus aan het filteren.

Als mijn gebruikers klagen dat er te veel spam door wordt gelaten
dan laat ik ze zien dat dat toch maar een kleine fractie is van de
aangeboden spam. Het meeste daarvan is bovendien al gemarkeerd als
"waarschijnlijk spam" en is eenvoudig uit te filteren in de email
clients van de gebruikers. Als ik dan uitleg dat alles wat extra
zou moeten worden tegen gehouden in het overgangsgebied zit
tussen duidelijke spam en duidelijke ham en het risico met zich
meebrengt dat je gewenste mail tegen gaat houden, dan is de keuze
van die gebruikers eenduidig: ze willen in ieder geval dat alle
reguliere mail wordt doorgelaten.

>
>De oorzaak is dan vaak dat de in mijn Exim-config opgenomen 'callback'
>(=controle of het opgegeven afzenderadres af op zender.tld ook post wil
>ontvangen) resp. controle op postmaster (=check of
>postmaster op zender.tld mail accepteert) mislukken.

Een controle of het postmaster adres bestaat vindt ik regelrechte onzin.
Om mail te ontvangen heb ik niets met die postmaster te maken. Pas als
ik geen mail kan versturen naar een domain wil ik contact opnemen met
die postmaster. Als ik spam/virussen wil aanmelden dan ben ik meer
geïnteresseerd in het abuse adres. Bovendien kan ik dat postmaster
adres in principe _niet_ testen. OK, ik kan kijken of mail wordt
geaccepteerd voor dat adres, maar er zijn nogal wat domains die mail
voor postmaster wel accepteren om van het gezeik af te zijn, maar
vervolgens de mail regelrecht in /dev/null mikken.

Wat betreft het controleren van het afzender adres: ik doe het niet.
Zonder dat ik ooit een goede analyse gemaakt heb, heb ik toch de
indruk dat het te weinig op zal leveren. En er is te veel werk
met een hogere prioriteit dan het maken van die analyse.
Zaken die zeker overwogen moeten worden als je hierop wilt
filteren zijn:
-- Hoeveel levert het op? En dan bedoel ik: hoeveel hou je _uitsluitend_
   op dit criterium tegen. Mail die je anders toch al zou hebben
   onderschept telt dus niet mee.
-- Hoeveel 'false positives' geeft dit. Er is een categorie mail die
   verstuurd wordt vanaf adressen die geen mail willen ontvangen.
   Sommige gewenste nieuwsbrieven vallen hieronder, maar ook
   automatische bevestigingen van web-transacties en zo.
   Als je dit doet dan zal je ook handmatig 'whitelists' moeten gaan
   bijhouden vrees ik.
-- Je loopt een zeker risico met je checks. Je begint een email-
   transactie en breekt die af nadat een adres is geaccepteerd
   zonder daadwerkelijk mail te versturen. Dat is precies wat
   'email harvesting bots' ook doen. Vooral als je op een zeker
   moment veel mail ontvangt van een bepaald domain dan loop je een
   risico dat je vanwege je checks door dat domain aangezien wordt
   als iemand die geldige adressen aan het verzamelen is.
   Vraaf me niet om dit risico te kwantificeren, maar het is nuttig
   om je er van bewust te zijn.

>
>Ik vind dit (nog steeds) goede en valide checks onder het motto: als
>de afzender zich niet aan de RFC houdt (mailbox postmaster MUST
>exist), en/of een ongeldig afzender-adres gebruikt, dan hoef ik de
>post niet. Veel spam wordt op die manier toch tegengehouden.

Zoals al eerder betoogd: veel van die spam zou toch wel worden
tegengehouden. Het postmaster adres zou inderdaad moeten bestaan,
maak ik kan dat niet afdwingen. Ik kan het zelfs niet betrouwbaar
controleren. En als het legitieme mail betreft dan is dat postmaster
adres echt het _allerlaatste_ waar mijn gebruikers zich druk over
zouden maken.
Ik gebruik overigens SpamAssassin met blacklist tests enabled. Als
domains scoren op een rfc-ignorant list dan zullen ze wel punten
verzamelen, maar ik blokkeer geen mail uitsluitend op dit criterium.

En dat controleren van het afzender adres, soms zal dat adres ongeldig
zijn terwijl de mail toch gewenst is. En helaas, je staat aan de
ontvangende kant zonder dat je kunt bepalen hoe het verstuurd wordt.

>
>Helaas denken de gebruikers er anders over: "kun je dan voor
>dat-en-dat domein een uitzondering maken"? Tja, in het kader van de
>werkverschaffing misschien interessant, maar het lost het probleem met
>de niet correct geconfigureerde mailservers niet op...

Mijn criterium is dat _alle_ gewenste mail moet binnen komen. En als
dat betekent dat er ook wat meer spam doorheen komt dan moet dat maar.
Het is mijn stellige indruk dat dat ook de wens van mijn gebruikers is.
Als ik jouw opmerking hier boven goed begrijp dan is dat voor jouw
gebruikers niet anders.
Ik heb overigens nooit rechtstreeks gevraagd hoe ze denken over
strenger filteren en dan uitzonderingen gaan maken. Zodra ik
verlegen zit om een werkverschaffingsproject ga ik dat zeker doen.
En ook dan zal een 'whitelist' altijd achter de feiten aanlopen.

En wat betreft "het probleem met niet correct geconfigureerde
mailservers": ik kan dat niet oplossen want ik beheer die servers
niet. Ik doe nochthans mijn best om mijn eigen servers goed te
configureren. Meer kan en wil ik niet doen.
Als mail afkomstig van externe servers aan duidelijke spam-criteria
voldoen dan weiger ik die mail. Maar dat bepaal ik niet aan de
hand van de vermeende configuratie van de zendende servers.

>
>Ik weet dat er "zware jongens" zijn die zo'n check op postmaster@ enzo
>maar onzin vinden, verspilling van bandbreedte, etc. Ik vraag me af
>hoe hierover gedacht wordt door de mensen op deze discussielijst.  Ben
>ik inderdaad helemaal verkeerd bezig door me aan de RFC's vast te
>houden of zit er toch wel wat in?

De RFC's beschrijven protocollen om (in dit geval) email verkeer
zo goed mogelijk te laten verlopen. Dat is een hele goede reden om
zelf in ieder geval zo goed mogelijk te voldoen aan de RFC's. Maar
het zijn geen afdwingbare wetten. Als je bewust afwijkt van de RFC's
dan moet je in ieder geval de consequenties overzien en accepteren.
Als je echt rare dingen doet dan zal je geen mail kunnen vesturen/
ontvangen. Maar dit gaat alleen over je eigen configuratie.
Als je vraagt: "Moet ik aan de RFC's vodoen?", dan is het antwoord:
"Ja, natuurlijk." Maar jij vraagt nu: "Moet de zendende server er
ook aan voldoen?". Het antwoord daarop is: "Eigenlijk wel, maar je
kunt dat niet afdwingen." Het simpele feit dat je communicatie hebt
met die server betekent dat die het eigenlijk nog niet eens zo slecht
doet. :-)

Ik geef volmondig toe dat je een deel van de aangeboden spam zult kunnen
tegenhouden door te testen op geldige afzender en postmaster adres
voor het betreffend domain. Maar die bewuste spam zou je voor een
(groot) deel toch al hebben geweigerd op andere criteria.
Uiteindelijk wil je gewoon communiceren. En gewenst email verkeer
wil je gewoon ontvangen. Als gebruikers klagen dat gewenste mail
niet door komt dan blokkeer je kennelijk te veel.
Zo simpel is het uiteindelijk, want het gaat tenslotte om de
gebruiker. Dat betekent ook dat mijn criteria bij het instellen van
het spamfilter op de bedrijfsserver anders zullen zijn dan bij mijn
persoonlijke filter op mijn workstation.

Groeten,

Kees.

-- 
Kees Theunissen
F.O.M.-Instituut voor Plasmafysica Rijnhuizen, Nieuwegein
E-mail: theuniss op rijnh.nl,     Tel: 030-6096724,     Fax: 030-6031204