10

Implémentation (partielle) de la détection de doublon

Par Alix
le 17 avril 2014 à 02h40
17 réponses

Sur lelombrik, on n'aime pas trop les doublons (et je commence à oublier mes vieux fichiers..). Grâce à la technologie, plus précisément, un algorithme bien conçu, nous avons trouvé un moyen de détecter la ressemblance entre deux images.

Pour le moment, on test ça dans notre back-office lors de la validation des fichiers mais si vous voulez jouer avec, voici une url :

http://lelombrik.net/ajax/doublon.php?url=

Exemple de doublon :
http://lelombrik.net/ajax/doublon.php?url=http://media.lelombrik.net/t/e2d981ea85973cd3381a8a248afad45f/p/01.jpg

Si vous voyez des anomalies, dites-nous qu'on corrige ça :)

On teste et si ça marche bien, on ajoutera une étape en cas de détection de doublon lors de l'envoi d'une image.

Précédent

Tri par popularité

Tri chronologique

Suivant

+ 0 -

Dr.zabuza Lombric

une étape de validation manuelle... sa serait bête qu'un truc genre demotivator sois rejeté juste car l'image est la même alors que le thème soit complétement différent

+ 0 -

Alix En réponse à Dr.zabuza LeLoMBriK

Ça annoncera juste qu'il se peut qu'il y ait un doublon, avec une demande de confirmation. On ne bloquera pas.

+ 0 -

tenev911 En réponse à Dr.zabuza Asticodeur

Ouais, on y réfléchi, j'pense pas qu'un repost soit intentionnel donc on ne bloquera probablement pas.
Par ailleurs, avec de la chance, on pourra peut être faire de même avec les vidéos, à voir ;)

+ 2 -

phil_good Ver singe (et torix)

C'est super efficace ! J'ai fait un essai ce matin, dans la foulée le site est tombé pour la matinée. ^^'

+ 0 -

Alix En réponse à phil_good LeLoMBriK

Oui mais ça n'a aucun rapport. C'est mon oubli mensuel pour renouveler la location du serveur et du coup, ils coupent le temps que je paye.

+ 0 -

tenev911 En réponse à Alix Asticodeur

Haha, classique, je le fais tout le temps aussi :p

+ 0 -

john5 En réponse à Alix

Les enfoirés ! Pas de chance, la trêve hivernale est finie...

+ 0 -

Creugneugleu Vermisseau

Je pourrai donc continuer à poster ? :p
Sinon, merci pour l'outil, ça sera cool pour quand on oublie les tags, ou quand on utilise pas les mêmes.

+ 0 -

phil_good Ver singe (et torix)

P'tite remarque : quand deux images sont identiques mais que l'une des deux est un peu recadrée par rapport à l'autre, le système ne les reconnait pas.
Exemple : http://lelombrik.net/46846 et http://lelombrik.net/56871

De même, quand la qualité diffère trop entre les deux images, il a du mal à s'y retrouver :
http://lelombrik.net/56863 et http://lelombrik.net/25242

Et tant que vous retravaillez sur le module de soumission des fichiers, ce serait super si on pouvait avoir un aperçu final avant l'envoi effectif, histoire d'anticiper des problèmes d'images tournées, de faute de frappe ou autre...

+ 0 -

Alix En réponse à phil_good LeLoMBriK

Quand je teste manuellement les images que tu as donnée, il reconnait bien les doublons. Donc doit y avoir un autre soucis, on investigue

+ 0 -

phil_good En réponse à Alix Ver singe (et torix)

Bah il m'indique que c'est potentiellement un doublon, mais il me donne une seule proposition qui est l'adresse de la page dont je viens de lui donner l'image.
Et je ne sais pas si c'est prévu dans l'étape de détection de doublon, mais ce serait super aussi d'afficher genre les cinq premiers fichiers "Dans le même genre", histoire de faire le tour du problème.

+ 0 -

Alix En réponse à phil_good LeLoMBriK

On a corrigé la sensibilité, ça devrait mieux fonctionner maintenant.

+ 0 -

phil_good En réponse à Alix Ver singe (et torix)

Mieux, en effet ! Il détecte nickel les fichiers que j'avais cités.

En revanche j'ai testé sur un autre où il ne retrouve pas :
http://lelombrik.net/49843 et http://lelombrik.net/18154

Après, le plus dur va être de trouver le bon réglage pour qu'il trouve les vrais doublons et pas les séries (genre filtre magique).

+ 0 -

Alix En réponse à phil_good LeLoMBriK

Le cadre est légèrement différent, on cogite pour améliorer ça. Des fois c'est surprenant et des fois à la masse..

+ 0 -

Creugneugleu En réponse à phil_good Vermisseau

Merci pour l'exemple... :Þ

+ 2 -

Zebulon Man Faye Gang Bang Addict

Balèze les gars ! Si dans la foulée, vous pouviez programmer un petit truc pour qu'on cesse d'avoir toujours le même genre de cons au pouvoir, SURTOUT ! ne vous gênez pas hein ! ;)

+ 5 -

Alix En réponse à Zebulon LeLoMBriK

On est sur un petit truc, pour le moment on l'appelle "Skynet"

Inscrivez-vous ou Connectez-vous pour envoyer une réponse

77