12 juin 2011
23 janvier 2011
Mème : Scrabble international
Publié par
Philippe
à
23:41
2
commentaires
Voter pour ce billet sur Wikio
Tags : chemin, cognition, graphe, igraph, langage, Longest Path problem, mail, mème, R, Sage, TAL
31 mars 2010
Comment translater les titres de films (2)
Publié par
Philippe
à
23:14
1 commentaires
Voter pour ce billet sur Wikio
Tags : Allociné, diachronie, langage, Lexico3, nuage de mots, TagCloud Builder, traduction
16 janvier 2009
Les poires à gauche
En lisant cette liste d'URL ambiguës en anglais, j'avais rêvé d'en trouver en français en compilant toutes les combinaisons possibles de mots coquins ou rigolos en français avec d'autres mots du dictionnaire, et en vérifiant s'il était possible de segmenter autrement chaque suite de lettres ainsi obtenues.Eh bien le PS a fait presque aussi bien avec lespoiragauche.fr, comme ça a été également noté en commentaires ici et là. Maladresse ou stratégie marketing pour créer un buzz et faire retenir l'adresse ?
Si c'est la deuxième solution, je vais m'empresser de créer un site de photos de nos parlementaires sur www.photosdeputes.fr.
Mise à jour d'avril 2010 : des étudiants en L3 de l'Université Montpellier 2 sont sur le coup pour le logiciel de création d'URL ambiguës, plus de détails sur ici !
Publié par
Philippe
à
15:44
3
commentaires
Voter pour ce billet sur Wikio
18 novembre 2008
Claviers espions : usure et fréquence de lettres
Dur dur de poster après une période silencieuse sur son blog... Reprendre un billet vaguement réveillé par un autre d'un blog influent ? Ficeler un rapport peu concluant sur l'influence de la plateforme sur le classement d'un blog ? Non, il faut un nouveau résultat fort, mêlant une idée théoriquement ingénieuse et calculable en pratique, un vrai projet de longue haleine qui montre qu'on n'a pas chômé...
Tout est parti de deux touches de clavier défaillantes. Delphine, déjà à l'origine de quelques posts sur ce blog, notait que les deux touches qui s'étaient détachées de son clavier faisaient partie du mot-clé principal de sa thèse. Il n'en fallait pas plus pour me faire envisager une forte corrélation entre l'usure des touches et leur fréquence d'utilisation (aussi remarquée ici par exemple), et rechercher les moyens de mesurer tout ça... et d'en déduire des choses.
Par chance, mon clavier Dell reflète assez bien son utilisation (ceux de certains Mac aussi apparemment, voire les claviers NMB Technologies), au bout d'un an. Mon "S" est par exemple presque complètement effacé. Mais surtout, si on regarde de plus près, les touches fréquemment utilisées sont vraiment usées, le plastique y est plus lisse, et elles réfléchissent beaucoup mieux la lumière. Je ne sais pas ce que ce polissage implique sur l'absorption de matières toxiques du bout des doigts, mais en tout cas il permet de faire des mesures : en éclairant le clavier par dessus et en prenant la photo de travers, les zones très réfléchissantes apparaissent plus sombres que le reste. Il faut alors quantifier l'usure à partir de la photo. Si l'on veut des résultats très précis, on peut s'amuser à faire du traitement d'image et mesurer l'intensité sur les portions de photo qui correspondent aux touches. Ca demande un gros travail, surtout de normalisation de l'image... alors qu'on peut procéder plus simplement : construire un quadrillage 5x5, le coller sur chaque touche, et compter les carreaux, parmi ces 25, qui sont sombres. En fait, pour les premières lettres, on compte les carreaux pour préparer quelques étalons, après, on compare avec les lettres dont l'usure a déjà été évaluée.
Une fois ces quantités d'usure obtenues, on peut les comparer avec les fréquences de lettres en français. Pour cela, on me l'a confirmé dans mon cours de biostats cette année, rien ne vaut un joli diagramme XY :
La corrélation est nette (coefficient 0,89), toutefois la relation entre les deux variables semble n'être pas exactement linéaire. Essayons d'élever l'usure au carré, ça semble mieux fonctionner (coefficient de corrélation 0,92), même si ce n'est pas parfait :
Qu'est-ce qui pourrait expliquer ces variations par rapport à la distribution moyenne des lettres en français ? Les gros joueurs de jeux vidéos ont apparemment leurs touches fétiches, je pense que ma forte usure de C et V vient de mon abus de raccourcis pour le copier coller, pour W c'est sûrement les adresses web. De plus, j'utilise mon ordinateur pour écrire à la fois en français et en anglais. Tiens tiens, et si j'utilisais l'usure des touches pour évaluer à quelle fréquence je tape en anglais ou en français ?
L'idée est donc que la distribution de l'usure n'est pas semblable à celle du français, mais à une combinaison linéaire de celle du français et de l'anglais. J'appelle U(l) ma fréquence d'utilisation de la lettre l, F(l) (respectivement A(l)) sa fréquence d'utilisation en français (resp. en anglais), et j'appelle x le ratio de ce que je tape en français par rapport à tout ce que j'écris avec mon ordinateur. U est donc une loi mélange de F et A : U(l) = x F(l) + (1-x) A(l). J'essaie de trouver x en connaissant une approximation de U, de F et de A pour toute lettre. Pour cela, je vais calculer le membre de droite pour toutes les valeurs de x entre 0 et 1, et évaluer la corrélation avec U. Tout peut se faire avec un tableur, ça se passe ici.
J'en profite pour une petite digression sur le coefficient de corrélation de Pearson, implémenté par COEFFICIENT.CORRELATION dans tout tableur digne de ce nom, que j'avais utilisé dans certains posts précédents sans comprendre sa formule magique. En fait, la formule est tout à fait naturelle une fois qu'on a compris que pour normaliser des distributions, classiquement, on divise les valeurs par l'écart type, avant de soustraire la moyenne (merci encore au cours de biostats, décidément ces modules doctoraux ont du bon quand on les choisit soi-même...).
Bref, passons aux résultats. J'utilise trois distributions de fréquences de lettres en français trouvées sur internet pour F, deux pour l'anglais et la distribution A. A chaque fois je calcule la valeur optimale de x. Je termine par une moyenne de ces valeurs de x : 0.81 (avec selon la distribution une variation inférieure à 10%). Bref, environ 1/5 de ce que je tape est en anglais.
A quel point la méthode présentée ici est fiable ? D'une part, il est connu que les fréquences de lettres varient selon le corpus utilisé. D'autre part, le coefficient de corrélation que je tente de maximiser afin de trouver le ratio x est peut-être trop sensible à de petites variations sur les fréquences de lettres. Pour tester ça, j'ai collé un bout de texte anglais à un bout de texte français (en connaissant le ratio x, donc) et j'ai essayé de le retrouver par la méthode de maximisation du coefficient de corrélation. Pour une étude plus sérieuse, j'aurais peut-être essayé un corpus de textes variés, là au vu des résultats je me suis contenté de mon premier essai.J'ai utilisé cet outil en ligne de calcul de fréquence de lettres, qui fournit des pourcentages de fréquences arrondis à l'entier près (pas très précis, donc, à peu près autant que mes mesures sur le clavier). J'ai copié le premier article du Monde que j'ai eu sous les yeux dans mon flux RSS, concaténé au texte de la page d'accueil de l'outil, en anglais donc (remarquez que ces deux textes sont très courts). Puis appliqué la méthode, avec les deux distributions de fréquences pour l'anglais et les trois pour le français. En faisant la moyenne des coefficients trouvés, j'obtiens 0,79 alors que la valeur réelle était 0,81 (8327 octets pour le texte français, 1904 pour l'anglais), soit à peine 3% d'erreur (et pour chaque couple de distributions de fréquences anglais/français, moins de 10% d'erreur).
Bref, je suis assez confiant pour placer une marge d'erreur de 10%, et affirmer qu'il est possible de deviner par cette technique la langue d'un utilisateur d'ordinateur Dell qui use raisonnablement son clavier. Pas mal sans utiliser de vrai clavier espion !
Publié par
Philippe
à
18:45
5
commentaires
Voter pour ce billet sur Wikio
Tags : clavier, corrélation, graphique, langage, statistiques, tableur
1 février 2008
Traquer les mots moches
Las d'écorcher les yeux et les oreilles de mes proches, après 4 journées de stage de technesthésie pour améliorer mon expression orale (merci le CIES !), j'ai décidé de m'attaquer à mes erreurs et tics lexicaux. Anglicismes, complexifications inutiles, abus de langage, tout cela est recensé dans le Dicomoche. Encore faut-il repérer qu'on en utilise !
J'ai commencé à construire un site dédié à cela. Pour l'instant c'est tout à fait basique, le "Démocheur" (version beta) se contente de colorer certains mots moches ou potentiellement moches. Quand je dis basique, ça signifie aucune analyse lexicale, un simple fonctionnement par rechercher/remplacer. La liste actuelle de mots moches est très réduite, elle est destinée à s'enrichir au moins par le contenu du dicomoche, mais tout visiteur du Démocheur peut y proposer ses mots moches. Je mettrai certainement en place un système de vote pour laisser aux visiteurs la possibilité d'évaluer la laideur de chaque expression, dans un esprit de démocratie tout à fait web2.0. Reste à voir, une fois que les problèmes sont identifiés, comment les corriger, et là c'est au visiteur de se casser la tête, en suivant éventuellement les liens vers le dicomoche.
Publié par
Philippe
à
23:42
1 commentaires
Voter pour ce billet sur Wikio
5 juillet 2007
Avoir vocation à... une héritation de Chirac
Parti traquer les erreurs de pronoms relatifs (oui, merci, la pêche a été bonne...), j'ai été étonné, après le billet de Jean Véronis sur l'expression "avoir vocation à", de l'entendre 3 fois dans la bouche de Brice Hortefeux dimanche dernier dans son passage au Grand Jury d'RTL :
"les pays d'immigration n'ont pas vocation à laisser partir [...] toute leur élite"
"Tout immigré en situation irrégulière a vocation à être reconduit à la frontière"
"s'ils sont interpelés, ils ont vocation à être reconduits dans leur pays"
Alors, contamination par le patron ? Ou bien reflet d'une utilisation plus généralisée ?
Pour tester cela j'ai tout d'abord essayé une combinaison de recherches Google de la forme :
n1 = nombre de résultats Google pour ("Nicolas Sarkozy")
n2 = nombre de résultats Google pour ("Nicolas Sarkozy" "vocation à")
n3 = nombre de résultats Google pour ("Nicolas Sarkozy" "pas vocation à")
Pour effectuer ces recherches en masse sur une brochette de politiques, aucun problème, mon programme FuryPopularity dont je vous avais déjà parlé se débrouille très bien. Je viens d'ailleurs d'y ajouter la possibilité de récupérer le nombre de résultats pour un ensemble de requêtes sur les moteurs Yahoo et Dir.com. L'objectif était donc de comparer pour l'ensemble des politiques les valeurs n2/n1, et aussi les n3/n1.
Premier problème, encore et toujours, les fantaisies des moteurs Yahoo et Google. Les deux sont concernés, pour Yahoo j'ai même eu parfois n3>n2 ! Mais bon, ça, je m'y attendais. J'ai essayé d'ajouter un petit test pour m'assurer que les chiffres n'étaient pas trop absurdes, récupérer aussi :
n4 = nombre de résultats Google pour ("Nicolas Sarkozy" "vocation à" -"pas vocation à")
Là théoriquement n2-n3-n4=0, je considérais le résultat comme correct quand (n2-n3-n4)/n2 restait inférieur à 10% : rien à faire, les deux moteurs fournissaient des résultats incohérents et non significatifs. Idem du point de vue du manque de significativité pour Dir.com qui est plus rigoureux dans ses annonces de résultats.
Bref, il fallait un corpus de discours d'hommes politiques, plus spécifique que le web tout entier. Evidemment, je me tiens au courant de l'actualité... Mais 19 discours de politique générale, ça ne fourmille pas de "vocations à". Heureusement mon moteur de recherche préféré (malgré ses défauts cités plus haut) m'a indiqué le corpus du "concours" DEFT'05, qui réunit des extraits d'allocutions de Jacques Chirac et François Mitterrand (bien annoté, ce qui m'a permis de séparer les uns des autres sans programmer une ligne de code, avec simplement des rechercher/remplacer et Microsoft Excel). Verdict sur les 1 036 331 mots de Chirac et les 202 120 de Mitterrand ? 95 "vocation à" pour le premier, 4 pour le second.
Bingo ! C'était bien vu de la part de Narvic dans les commentaires d'Aixtal, Jacques Chirac atteint un joli 9,17 "vocation à" sur 100 000 mots, face aux presque 11 pour 100 000 de Nicolas Sarkozy, et aux 1,98 sur 100 000 de François Mitterrand
Alors, Sarkozy digne héritier de Chirac pour l'utilisation de cette expression ? Pas tout à fait, il a su ajouter sa petite rupture. Comptons parmi toutes ces occurences le nombre de "pas vocation à" : 9,4% pour Jacques, 42,5% pour Nicolas...
De là à irriter l'ancien président comme le prétend Google...
Publié par
Philippe
à
22:02
0
commentaires
Voter pour ce billet sur Wikio
Tags : Dir, Google, langage, moteurs de recherche, politique, statistiques, Yahoo
10 janvier 2007
Comment translater les titres de films (1)
La traduction des titres de films est un exercice périlleux, pas toujours réussi à en croire les commentaires sur internet. Le magazine Première révèle en tout cas les coupables du choix du titre des films : les distributeurs. Ce sont donc eux qui ont inventé le concept ultime : la traduction de l'anglais vers l'anglais ! Avant d'atteindre ces sommets de ridicule, regardons quelques autres cas particuliers d'adaptations de titres de films sortis en France en 2006.
La version "censure" consiste à décider que le public français ne mérite pas de connaître la totalité du titre américain, alors on l'abrège ! C'est le traitement qui a été réservé à Basic instinct 2 (Basic Instinct 2 : Risk Addiction), Slevin (Lucky Number Slevin), Block Party (Dave Chappelle's Block Party), Love Song (A love song for Bobby Long).
Au contraire, la version "note du traducteur" garde le titre original mais ajoute quelques mots pour le rendre plus compréhensible, comme dans les cas suivants : Alex Rider : Stormbreaker (Stormbreaker), Inside man - l'homme de l'intérieur (Inside Man), Le Secret de Brokeback Mountain (Brokeback Mountain), Jarhead - la fin de l'innocence (Jarhead). Je dois tout de même avouer que c'est parfois judicieux, comme la substitution de Truman Capote à Capote.
On arrive maintenant aux deux formes que je préfère. La première, c'est la version "sans the". Ces décisions sont certainements prises par des distributeurs traumatisés par la prononciation du "th" dans les cours d'anglais de leur enfance, alors ils se vengent sur Da Vinci code (The Da Vinci Code), Last kiss (The Last Kiss), Fast & Furious : Tokyo Drift (The Fast and the Furious: Tokyo Drift), Fog (The Fog), et bientôt History Boys (The History Boys).
La seconde, la plus belle, la traduction "fashion", d'un anglais que les français comprennent pas, vers un anglais que les français comprennent ! C'est sûr que l'espace de Shop girl (Shopgirl) était vraiment nécessaire pour saisir le message profond du film. De même tout s'élaircit quand on lit Lucky girl (Just My Luck), Sexy dance (Step Up), Big Mamma 2 (Big Momma's House 2), Basket academy (Rebound), Girls in America (On the outs), Baby Boy Frankie (The Blast of Silence), Dance with me (Take the Lead), The Last Show (A Prairie Home Companion), Coast Guards (The Guardian) et bientôt Bad Times (Harsh Times). Une seule exception me paraît justifiable : Sexy movie, dans la lignée des Scary Movies, qui sonne bien mieux que le Date Movie original. Mais dans ce cas, pourquoi est-ce qu'il n'avait pas été utilisé dans la version originale ? Comme le suggérait un internaute dans une page du forum Allociné citée ci-dessus, cela peut venir de l'existence préalable d'un film ayant déjà ce titre. Cherchons sur Google si "Sexy Movie" correspond à un autre film ? Damn, les résultats sont parasités par les pages françaises sur le film, et je ne vois pas de bouton "chercher uniquement dans les pages anglophones". Mais on peut simuler ce bouton, il suffit d'interdire la présence de mots français fréquents n'existant pas en anglais, par exemple "est" et "une", et on obtient notre résultat !
A quand remonte cette pratique de traduire de l'anglais vers l'anglais, qui me semble assez récente ? Je me souviens de Phone game (Phone Booth) en 2003, mais avant ça, je ne vois pas.
Publié par
Philippe
à
15:20
6
commentaires
Voter pour ce billet sur Wikio
Tags : Allociné, cinéma, Google, langage, traduction
24 septembre 2006
Taguer, tagguer ou tagger ?
Gros dilemme orthographique aujourd'hui : comment j'écris "to tag" en français ? Je me suis précipité sur Google qui est de temps en temps mon correcteur orthographique adoré. Evidemment impossible de rechercher simplement l'infinitif, puisque "tagger" est parasitée par la forme du nom anglais.
J'ai donc cherché plusieurs formes conjuguées, en mettant des guillemets, du genre : "j'ai taggé" "j'ai taggué" ou "j'ai tagué". Les résultats sont assez surprenants :Une fois encore on constate que Yahoo semble meilleur que Google pour faire des stats : la large domination, dans la moyenne, de la forme "taguer" sur Google est due seulement à "ils ont tagué", les résultats auraient été bien plus resserrés sans cette forme.
En tout cas le fin mot de l'histoire ("taguer" est la forme correcte) se trouve dans tout bon dictionnaire, et les explications dans un des commentaires ici, c'est très intéressant. Il est étonnant de trouver la forme "tagger" autorisée aussi dans l'Officiel du Scrabble comme indiqué sur ce site.
Merci à Muff pour la remarque à l'origine de cette investigation. En fait elle concernait les mots en français qu'on peut écrire avec les 4 lettres de l'ADN, A C G et T. J'aimerais bien connaître la plus longue phrase qu'on peut écrire avec ça, vous avez mieux que "Ta tata gaga tagga ça" (valide grâce à l'Officiel du Scrabble, donc ;)) qui est présente dans notre chromosome 6 (rechercher dans la page "tatatatag agataggaca") ?
Publié par
Philippe
à
18:59
14
commentaires
Voter pour ce billet sur Wikio
Tags : bioinformatique, Google, langage, orthographe, tableur, Yahoo
1 juin 2006
Créations lexicales et graphe sémantique
Une question intéressante en commentaires du dernier post de Jean Véronis. Spinodo - Charles Mougel a dit…
Quel est la probabilité, pour qu'une personne, associe ces deux mots, au cours de sa vie ?Depuis un petit moment déjà, j'ai comme projet de créer un petit graphe sémantique à partir d'un dictionnaire : des points, chacun représentant un mot, sont reliés s'ils sont souvent cités dans une même définition du dictionnaire, ou si l'un est cité dans la définition de l'autre, la longueur des liens étant proportionnelle à une certaine distance. J'espère que ce truc pourrait donner un graphe qui rapproche bien (en terme de plus court chemin entre deux points) des termes entre lesquels on peut faire des associations d'idées facilement.
- "ordre" et "juste".
Il me semble qu'il est loin d'être nul. Car ordre et la justice, sont tout de même des notions qui reviennent souvent dans le vocabulaire politique ou religieux, non ?
Quelles sont les chances de naissance indépendante de ce couple de mots ?
Si c'est le cas, la distance entre deux mots, par exemple "ordre" et "juste", pourrait refléter la probabilité que les deux mots soient naturellement associés par un individu lambda, la probabilité que le couple "ordre juste" soit créé (peut-être faudra-t-il au passage vérifier/imposer au passage que le groupe de mot créé soit grammaticalement correct). La comparaison entre la probabilité théorique de création des couples (d'après le dico) et la création effective se ferait en comparant ces distances et les distances Google (Normalized Google Distance). Le nombre de couples de mots "créés" par une seule personne étant vraisemblablement plus rares que ceux apparus naturellement (plusieurs créations indépendantes), on peut attendre que les deux distances soient en général cohérentes... les exceptions représentant justement les créations lexicales d'une seule personne.
Bon, bon, je suis peut-être trop optimiste... et surtout créer le graphe sémantique demande un certain temps de programmation que je n'ai pas, donc pas moyen de faire une petite vérification rapide de ce que j'espère. Un week-end tranquille en juin, peut-être...
Publié par
Philippe
à
10:03
2
commentaires
Voter pour ce billet sur Wikio
Tags : cognition, graphe, langage, logiciel, statistiques