NiX Spam
Erfahrungen mit dem Filterprojekt der iX
2. Mailserver-Konferenz, 19. Mai 2005
Bert Ungerer, Redaktion iX
2
Spam der 1. Generation: Diebstahl der Aufmerksamkeit
� „Echte“ E-Mails von festen IP- und Absender-Adressen
� Gelegenheits- und Hobby-Spammer, die für eigene Produkte und Dienstleistungen werben
� Gegenmaßnahmen: kleine, lokale Blacklists unerwünschter IP- und From:-Adressen, Beschwerden beim Provider des Spammers, in Deutschland: Abmahnungen, Klagen
3
Spam der 2. Generation: Diebstahl einzelner Ressourcen
� Spammer nutzen Server-Schwachstellen, zum Beispiel Open Relays, CGI-Skripte (Formmail), offene Proxies.
� Fälschung von Header-Einträgen (From:, Received: etc.)
� Verschleierung der Urheberschaft
� Professionalisierung der Spammer, Auftragsarbeiten
� Gegenmaßnahmen: netzweit verfügbare, per DNS abfragbare IP-Blacklists (DNSBLs), Inhaltsfilterung und -vergleiche
4
IP-Black- und Whitelists
� IP-Adressen sind nicht fälschbar.
� Die meisten Mailserver versenden entweder nur Spam oder nur Ham.
� Lokale Blacklists oder einfache Online-Abfrage mittels DNS (DNSBLs) bei der Annahme durch den Mailserver
� Oft unklare Policy der DNSBL-Betreiber
� Whitelists meistens lokal zur Milderung von Filter-Nebenwirkungen
5
Spam der 3. Generation: Diebstahl der Infrastruktur
� Von Spammern oder für Spammer installierte Open Proxies und andere Hintertür-Funktionen auf ungeschützten PCs
� Ferngesteuerte Zombie-PCs (Botnetze) als (verteilte) Mailserver für den Direktversand von E-Mails
� Organisierte Kriminalität, Allianz zwischen Spammern sowie Viren- und Wurmprogrammierern
� Verschleierung der E-Mail-Inhalte zum Unterlaufen von Inhaltsfiltern
� Gegenmaßnahmen: Dialup-Blacklists, Greylisting, Port-25-Sperre, Mailserver-Akkreditierung durch SPF, DomainKeys, MTAmark etc.
6
Verteilter Spam-Angriff
7
Verteilter Spam-Angriff
h001060c1f8b8.ne.client2.attbi.com
modemcable099.136-200-24.mtl.mc.videotron.ca
wsp030879wss.mccormick.mu.edu
u195n206.hfx.eastlink.ca
132.248.185.169
cable121-125.sudbury.personainc.net
AReims-105-1-14-81.w81-49.abo.wanadoo.fr
CBL217-132-78-209.bb.netvision.net.il
200-102-087-119.pltce7002.dsl.brasiltelecom.net
81-202-247-117.user.ono.com
149.159.61.217
c-67-163-94-77.client.comcast.net
212.73.179.192
12-223-224-81.client.insightbb.com
pool-68-163-228-99.bos.east.verizon.net
pcp03778052pcs.pimaco01.az.comcast.net
c210-49-78-109.belrs1.nsw.optusnet.com.au
203.160.179.229
pD9E8EBF0.dip.t-dialin.net
Einlieferndes Gateway (nicht fälschbar!)
Envelope-From
Gain 3+ Full Inches In Length
? The EZ way to increase penis size?
MUCH BIGGER PENIS?
ADD 3 INCHES IN LENGTH!
GAIN AN EXTRA 20% IN THICKNESS!
Stop Premature Ejaculation!
ADD 3 INCHES IN LENGTH!
HAVE MORE INTENSE ORGASMS!
Is your cock to small?
Natural Penis enlargement pill!
100% Safe To Take, With No Side Effect
Fast Distribution Worldwide
HAVE MORE INTENSE ORGASMS!
100% Safe To Take, With No Side Effects
Gain 3+ Full Inches In Length
Gain 3+ Full Inches In Length
Fast Distribution Worldwide
Stop Premature Ejaculation!
Produce Stronger Erections
Betreffzeile
Gemeinsames Merkmal: G
leiche Prüfsumme
8
DNS-Namen von Zombie-PCs und „richtigen“ Mailservern
� user-212-88-249-69.tvcablenet.be
� kbl-vlis2916.zeelandnet.nl
� d212-96-80-128.cust.tele2.fr
� 139.red-212-97-176.user.auna.net
� lyris.devworld.com
� voyager.usenix.org
� smtphost1.microsoft.com
9
Spam der 4. Generation: Diebstahl der Identität
� Spammer nutzen Backdoors und Spyware auf Zombie-PCs zum Ausspionieren der Anwender.
� Jetzt: Immer mehr Spam über offizielle Mailserver (Smart Hosts) der Anwender-Provider
� In Zukunft: Spam als individuelle E-Mails an Empfänger aus dem Adressbuch?
� Gegenmaßnahmen: ?
10
Wo filtern?
Mailserver des Absenders
Mailserver des Empfängers
Mailclient des Empfängers
Empfänger manuell
wachsender A
ufwand
Rückkopplung
11
Was filtern?
IP-Adresse des Absenders
SMTP-Befehle (z. B. HELO)
Header-Zeilen der E-Mail
Inhalt der E-Mail
wachsender A
ufwand
Rückkopplung
12
Wie filtern?
IP-Blacklists
Greylisting, Checksums
Heuristische Filter
Statistische Filter
wachsender A
ufwand
Rückkopplung
13
Exkurs: Greylisting
� Unterscheidung zwischen „richtigen“ Mailservern und Spam-Gateways durch strenge SMTP-Auslegung
� Verzögerte Zustellung
� Höherer Ressourcenbedarf bei Absender und Empfänger
� Whitelist notwendig
� Untauglich bei Missbrauch offizieller Mailserver
� Derzeit sehr wirksam
14
Greylisting an der Uni Würzburg
� Verzehnfachung des Spam-Volumens 2003
� Anfang 2004: Ablehnung aller E-Mails an ungültige Empfängeradressen
� Kurzfristiger Effekt, weiterhin drastische Steigerung
� Mai 2004: Einführung von Greylisting
Que
lle: U
ni W
ürzb
urg
2004
2003 2004
15
Anti-Antispam-Maßnahmen
� Fantasie-Adressen ([email protected])� Blacklists von Absenderadressen
� Identitätsdiebstahl� Whitelists, Greylisting, SPF & Co.
� je mehr Filter, desto mehr Spam� beliebig
� Verschleierung durch „Tippfehler“,Javascript, HTML etc.
� Inhaltsanalyse mit statistischenFiltern (z. B. Bayes)
� pseudozufällige E-Mail-Inhalte� Prüfsummenbildung zur Erkennung schon bekannter Spam-E-Mails
� Durchprobieren, Suchmaschinen,Stehlen (Backdoors, Spyware)
� Verschleiern von Adressen,Vermeiden der Veröffentlichung
� „Zombie-PCs“ mit dynamischenIP-Adressen als "Wegwerf-Gateways"
� IP-Blacklists
Spammer-GegenmaßnahmeAntispam-Verfahren
16
Vorbeugende Antispam-Maßnahmen
� Höchstens (!) eine E-Mail-Adresse pro Mitarbeiter
� Ausnahmsweise eine weitere zum „Verbrennen“ (Freemailer)
� Mailserver-Feineinstellungen
� Laufend aktualisierter Virenscanner
� Unbenutzte PCs ausschalten
� Große Verteilerlisten nicht im Header verewigen (BCC)
� Schulung der Mitarbeiter
17
Fragwürdige Antispam-Methoden
� Geheimhalten der eigenen E-Mail-Adresse
� Unbrauchbare Adressen wie „meine at e-mail dot com“
� Automatische Antworten mit Aufforderung zur Bestätigung der Absender-Adresse (Challenge/Response)
� Viel Aufwand für einen Bruchteil der möglichen Verbreitungswege
18
Wie Spammer an Adressen gelangen
� Durchsuchen öffentlicher Quellen: Web, Newsgruppen, Whois- und andere Verzeichnisse …
� Ausprobieren: Adressbuch-, Wörterbuch- und „Brute-Force“-Angriffe
� Automatische Antworten
� Verseuchte PCs: „private“ Adressenlisten, Browser-Cache …
� Adressenhandel
19
Erste Hilfe bei Spambefall
� Keinen Link in Spam-Mails anklicken, auch nicht zum „Austragen“ (Unsubscribe)
� Laden externer Web-Inhalte durch die Mailclient-Software unterbinden
� Automatische Antworten nur an vertrauenswürdige Absender
� Unterstützung des eigenen Filters durch erweiterte mailto:-URLs auf den eigenen Kontakt-Webseiten
� Entsprechend vorausschauende Nutzung vollständiger Header in selbst versandten E-Mails
20
Was tun mit Spam?
� Unmittelbar abweisen (im SMTP-Dialog)
� Annehmen und löschen
� E-Mail mit Fehlermeldung (Bounce) an Absenderadresse
� Annehmen, Markieren und Zustellen
� Zustellen in Quarantäne-Verzeichnis, Mitteilung an Empfänger (bei Viren- und Wurmverdacht)
� Drei Kategorien: eindeutig Spam – unklar – eindeutig Ham
21
Ärgernis Autoreply und „Bounces“
� Die meisten Spams und Wurm-E-Mails tragen gefälschte, schlimmstenfalls existierende, da gestohlene Absender-Adressen.
� Automatische Antworten auf Spam und Würmer (Empfangsbestätigungen, „Out of Office“, ...) sind daher nicht nur sinnlos und ärgerlich, sondern können wichtige persönliche Informationen preisgeben.
� Automatische Bitten um Absender-Verifikation („Challenges“) wegen jeder Mail sind eine Zumutung!
� Fazit: Erst filtern, dann handeln!
22
E-Mail heute
indi
vidu
elle
s M
ail-V
olum
en
Spam-Wahrscheinlichkeit hochniedrig
?„Ham“
Spam
iX-Adressen: 0 bis über 400 Spam-Mails pro Tag
23
E-Mail morgen?
indi
vidu
elle
s M
ail-V
olum
en
Spam-Wahrscheinlichkeit hochniedrig
� MTA-Warnungen (u. a. wg. Spam+Viren)� Generell immer mehr "Automaten-Mail"� Bitten um Adress-Verifikation� Werbung von Geschäftspartnern
(oder die sich dafür halten)� andere "gut gemeinte" Werbung� Update your contact details� private E-Mails (Witze etc.)� Firmeninterne Junk-Mail� Bitten um Weiterleitung� Bitten um Verlinkung� Irrläufer� ...
Spam
Ham
Weder-noch
24
Absender nicht okay: Blacklist Match
Absen
der o
kay:
Whi
telis
t Mat
ch Mailbekannt:
ChecksumMatch
Header-Analyse
Eingehende
Body-+Header-Analyse
90% - 8% 2% 40%40%16%4%Ham Spam
Statistiken aus ca. 30.000 Spams/Woche an 30 Anwender
Kombinierte Filter-Elemente
25
Filter-Kombination:Ohne Inhaltsanalyse gegen „Botnetze“
hochredundant (meist durch Whitelist-Treffer bekannt)
stark differenziert (Netze aus Zombie-PCs, IP-Adresse oft unbekannt)
Absender-Mailserver
stark differenziert (meist Unikate)
hochredundant (meist durch Checksum-Trefferbekannt)
Inhalt der E-Mail
Erwünschte E-MailsSpam & Würmer
E-Mail nicht bekannt, Absender bekannt: wahrscheinlich Ham
Mail bekannt, Absender unbekannt: wahrscheinlich Spam
Folgerung
Datenschutzrechtlich weniger bedenklich als der Inhalts-Scan!
26
Autark durch Rückkopplung
� Eigenentwicklung „NiX Spam“: Procmail-Skript für SMTP-Gateways; ca. 100 heuristische Regeln in 1000 Zeilen
� Grundannahmen „Spam ist hochgradig redundant“ (=> Fuzzy Checksums) und „Gateways senden meist nur Spam oder nur Ham“ (=> White-/Blacklists).
� Ressourcenfressender Inhaltsfilter entlastet sich selbst mit jedem Blacklist-, Whitelist- und Prüfsummen-Eintrag.
� Mit steigender Zahl der Anwender sinkt die für eine Inhaltsanalyse nötige Rechenkapazität pro Anwender.
� Vermeidung von Nachteilen externer Dienste wie DNSBLs (Zeitverlust, Overhead, Kosten, geringe Nachvollziehbarkeit)
�Öffentliches Projekt: www.nixspam.org
40 %
40 %
20 %10 %
90 %
27
Filter-Elemente aus wirtschaftlicher Sicht
Gateways:Blacklist-Test
Tre
ffer-
Ant
eil
Kosten: Rechenlast, Transport, Speicherung, Arbeitszeit
empfangene E-Mails:Fuzzy Checksums
unbekannte E-Mails:Header-Analyse
noch unklare E-Mails:Body-Analyse
Je teurer das Verfahren, desto seltener kommt es
zum Einsatz – wenn sich die Elemente „kennen“ ...
Rückkopplung
28
Fazit
� Gegen verteilte Spam-Attacken helfen verteilte, miteinander gekoppelte Filterlösungen.
� Rückkopplung der Ergebnisse teurer Filter in günstigere Filter spart Ressourcen.
� Je mehr eigene E-Mails für die Rückkopplung zur Verfügung stehen, desto weniger Bedarf besteht am Import zusätzlicher Informationen (DNSBLs, Prüfsummen-Server).
� Die nächste Bedrohung (immer mehr Spam von „offiziellen“Mailservern) erfordert Ausgangsfilterung bei Providern.
� Spam-Gegenmaßnamen sollten stets zum Ziel haben, Spammer in deren eigene Infrastruktur zurückzudrängen.
29
Bei allem Aufwand: Das MediumE-Mail verdient jede erdenkliche
Maßnahme gegen seinen Missbrauch.
Bert Ungerer <[email protected]>, www.nixspam.org
Oder?