SansFiltre

Il était temps que qelque chose se passe. Est-ce que ce sera efficace ?

Ouverture de Signal spam, le centre de dénonciation du spam :

[...] Signal-spam est une initiative publique et privée qui regroupe une série de partenaires dont l’AFA (Association des Fournisseurs d'Accès et de Services Internet), l’AFom (association Française des Opérateurs Mobiles), l’APRIL, la BSA, la FEVAD, La Poste, Microsoft, la Banque de France, la Gendarmerie, la CNIL, ou encore l’OCLCTIC (Office Central de Lutte contre la Criminalité liée aux Technologies de l’Information et de la Communication). Certains y sont membres actifs, d’autres simples observateurs.

SP est une solution centralisée de recueil et de traitement des spams sur réseaux qui a été mis sur pied par un groupe de contact fondé en 2004. Elle permet aux utilisateurs de signaler les spams reçus, aux fins d’analyse et de traitement, en copiant collant simplement le contenu d’un pourriel, avec ses en-têtes via un formulaire. Plus simplement, la transmission peut aussi se faire avec un plug in Outlook ou une extension Thunderbird. [...]

(Via Relevé sur le Net... (via Rezo.net).)

Le bilan du Sarkospam :

Parmi les sujets "casse-pieds" pour les informaticiens (notamment les administrateurs réseaux), il y a le spam. Il se trouve qu'un (encore futur à l'époque) candidat à l'élection présidentielle de 2007 a utilisé le spamming pour promouvoir sa personne à compter de la mi-2005. Tant le responsable politique en question, Nicolas Sarkozy, alors ministre de l'intérieur (et donc en charge du respect de la loi) que la quantité de destinataires ayant reçu ses messages (plus de trois millions) ont fait du désormais fameux scandale du Sarkospam un cas d'école. Aucun autre politicien ne s'est risqué à, ensuite, refaire une opération similaire. Deux familles d'enseignements sont à tirer de cette affaire : ceux concernant Nicolas Sarkozy et son entourage d'une part, ceux concernant le spamming en France d'autre part.

Sarkospam : un scandale riche d'enseignements, par Bertrand Lemaire. Edifiant.

(Via padawan.info/fr.)

J'avais loupé ce billet annonçant la sortie de SpamClear version 2.0 (en français) pour Dotclear (version supérieure à 1.2.1 mais pas Dotclear 2).

SpamClear est un filtre bayesien pour se protéger des spams de commentaires et de rétroliens.

Je l'installe et je vous tient au courant.

Une version plus récente de cet article, Pas à pas pour Spamclear (2)

Je viens de refaire une installation de SpamClear sur un carnet équipé de Spamplemousse. Voici un petit résumé pas à pas de la marche à suivre. Les parties en gras italique reflètent mes choix et opinions personnels.

Versions

DotClear 1.2.4
Spamplemousse 0.1.4
SpamClear 0.1.2 (URL du package http://slashboot.free.fr/spamclear/download.php)

Installation

Je considère ici que DotClear et Spamplemousse sont déjà installés et opérationels.

• Cliquer sur Outils
• Puis sur Gestionnaire des plugins
• Copier l'URL du package SpamClear puis la coller dans le champ Indiquez l'URL (http ou ftp) du fichier de plugin :
• Cliquer à nouveau sur Outils
• Cliquer sur SpamClear. Vous aurez un message à propos de la création des tables.
• Cliquer de nouveau sur Outils, puis sur SpamClear. Vous devez obtenir l'écran suivant.
• Modifier le fichier tb.php qui se trouve à la racine du site. Après la ligne 149
  

require_once dirname(__FILE__).'/'.DC_ECRIRE.'/tools/spamplemousse/inc/tb.php';
insérer la ligne
require_once dirname(__FILE__).'/'.DC_ECRIRE.'/tools/spamclear/inc/tb.php';
(l'ordre des lignes est important)

• Retourner dans le navigateur.

Premier entrainement

Un filtre bayesien n'a besoin d'être entrainé que sur quelques exemples. Au fil du temp, il faudra le réentrainer sur de nouveaux commentaires ou son résultat deviendrait moins performant.

Mettre en ligne quelques spam récents retenus par Spamplemousse pour avoir de la matière.

• Cliquer sur Outils
• Cliquer sur SpamClear.
• Cocher la case Show spam score et cliquer sur View.
• Dans la liste, repérer les non spam dont le score est à plus de 5%. S'ils ont une croix rouge , cliquer la croix rouge à droite de la ligne pour qu'elle devienne une coche verte . Cocher la case à gauche de leur titre.
• en bas de la page, dans le menu With selected choisir Train database et cliquer sur Go.
• Cliquer Ok dans l'alerte.
• Cocher la case Show spam score et cliquer sur View.
• Dans la liste, repérer les spam dont le score est à moins de 90%. S'ils ont une coche verte, cliquer la coche verte à droite de la ligne pour qu'elle devienne une croix rouge . Cocher la case à gauche de leur titre.
• en bas de la page, dans le menu With selected choisir Train database et cliquer sur Go.

Entretenir l'entrainement

Refaites les opération ci-dessus de temps en temps sur les derniers commentaires reçus et principalement quand des spam recommencent à passer ou que des non spam sont retenus par le filtre.

PS: pour les suppressions en masse, j'utilise toujours l'excellent MCommentaires.

Test

Ce sujet va sans doute nous occuper un moment. Au moins jusqu'à la sortie de DotClear 2, voir plus...

J'ai trouvé la suggestion de Jérôme intéressante car elle est simple et sans danger pour une efficacité certaine dans les conditions décrites. Mais...

• Elle deviendra inéficace dès que les spammeurs utiliseront un vrais parseur HTML au lieu d'un parseur rustique comme ils semblent le faire actuellement.
• J'ai beaucoup plus de spams de trackback que de spam de commentaires.

J'aimerai bien les impressions de ceux qui l'ont mise en oeuvre.

Il semble que les concepteurs d'outils de spam de commentaires/trackback ne soient pas les mêmes que ceux qui font des outils de spam de mail. Avec les outils actuellements utilisés pour les spams de mail, Spamplemousse serait quasiment inéficace. Et je me demande combien de temps les spammeurs de carnets vont mettre pour apprendre les techniques de leurs collègues ?

En l'état actuel, sur ce carnet, Spamplemousse bloque à peu près 80% des spams et SpamClear bloque les 20% restant (à vue de nez). Mais je me désole quand je vois passer chez mes voisins des spams qui sont bloqués chez moi. J'aurais aimé que Spamplemousse dispose d'une fonction de mise à jour de la liste des mots spams à partir d'un autre carnet. Il aurait ensuite été simple de développer un "réseau de confiance" dans lequel des auteurs se feraient mutuellement confiance pour mettre à jour leurs listes respectives de mots spam. J'ai vu que cette fonction avait été disuttée et écartée. Je n'ai pas participé à cette discussion. J'avais commencé à écrire un peu de code pour faire un plugin simple permettant cette fonction. Ce qui m'a arrété ce sont trois considérations :

• Je suis un mauvais développeur
• Il est dommage de rajouter encore un plugin pour une fonction aussi insignifiante
• L'accueil de la "communauté" est plutôt refroidissant.

J'aimerai bien que les différents outils proposés soient dotés d'outils de mesure de leur travail. J'avais suivi les dévelopements de Spambayes depuis ses débuts. Et j'avais été impressionné, entre autre, par la rigueure des tests d'efficacité à chaque modification de l'algorythme. Les dévelopeurs avaient rassemblé des collections de courriers normaux et de spam dans des dossiers, et à chaque modification ils utilisaient un script qui classait ce corpus témoin et qui calculait des statistiques sur les faux positifs et les faux négatifs. Si le nouveau paramètre améliorait ces scores, il était gardé. Si son effet était faible ou incertain (améliorant l'un et diminuant l'autre), il devenait paramétrable par l'utilisateur. Sinon il était rejeté.

Voir d'autres compte rendu de tests de SpamClear (discussion) chez Bertrand Rousseau et chez David Latapie.

Les spam de commentaires et de trackback se multiplient en ce moment. Certains utilisent un CPATCHA pour s'en protéger. Je n'aime pas ce principe. Et quand je suis confronté à un tel système, je renonce à poster mon commentaire 9 fois sur 10. Il me semble que si quelqu'un fait l'effort de commenter chez moi, je ne peut pas lui compliquer la vie.

Une petite équipe a développé Spamplemousse pour Dotclear. Le système, rustique, fonctionne bien. Il a deux inconvénients.

• Il utilise les RBL (ou DNSBL). Or peu d'entre eux sont fiables.
• Il utilise des mots clé pour filtrer. Ce système atteint très vite ses limites. Et les visiteurs doivent très vite surveiller leur vocabulaire pour pouvoir continuer à commenter.

Depuis peu est apparu SpamClear. Il utilise une technologie Bayesienne basée sur les probabilitées. C'est une direction nouvelle parmis les outils pour Dotclear. C'est une technologie intéressante qui, vu ses résultats dans le domaine du mail depuis bientôt 4 ans, mérite d'être développée pour les commentaires et les rétroliens des carnets. L'inconvénient des filtres bayesiens c'est qu'ils doivent être entrainés. Mais cette contrainte s'estompe assez vite. Ce projet mérite d'être soutenu.

Les trois points à suivre me semblent être :

• Amélioration de l'interface utilisateur pour le rendre plus simple à utiliser.
• Compatibilité avec Spamplemousse ?
• Une fois SpamClear installé, est-ce que Spamplemousse est encore utile ?

Historique

L'utilisation du théorème de Bayes pour le filtrage des spam a été proposé par Paul Graham en Aout 2002. Des dévelopeurs se sont précipité sur l'idée et ont développé divers outils utilisant l'inférence bayésienne. pour le filtrage des mail. J'utilise, depuis ses débuts Spambayes. Il n'est pas simple à installer (sauf pour Outlook). Mais il fonctionne très bien. Son filtrage atteint vite des niveaux satisfaisants. Cette technologie est aussi utilisée dans Thunderbird et SpamAssassin.