La notation d'un CV face à une offre est la fonction la plus attendue de Talentsalve, et elle n'est pas encore disponible. Voici pourquoi nous avançons prudemment, avec les mesures qui nous y ont conduits.
Première approche : demander une note à un modèle
Nous avons demandé à un modèle de langage de noter chaque paire CV × offre de 1 à 5. Sur un jeu anglophone de 150 paires étiquetées, la corrélation de rang (Spearman) avec l'étiquette est :
| Méthode | Spearman | Intervalle à 95 % |
|---|---|---|
| Au hasard | −0,01 | [−0,17 ; 0,16] |
| BM25 (mots-clés) | 0,26 | [0,10 ; 0,40] |
| Modèle de langage | 0,14 | [−0,02 ; 0,29] |
Aucune méthode n'atteint 0,6, y compris les plus simples, et le modèle ne bat pas BM25. Ces étiquettes sont de provenance inconnue : elles ne permettent pas de dire si le modèle est bon ou mauvais, seulement qu'il n'est pas meilleur qu'une recherche par mots-clés sur ce jeu.
Un modèle qui n'est pas stable
Nous avons passé trois fois les mêmes 49 paires, à température 0. 28,6 % des décisions ont changé d'un passage à l'autre. Une note qui varie sur le même CV et la même offre n'est pas une note qu'on peut expliquer à un candidat.
Une rubrique détaillée n'a pas aidé
Nous avons aussi testé l'ajout d'une grille de notation détaillée dans la consigne. Sur 46 paires comparables, la différence de corrélation est de −0,05, avec un intervalle de [−0,19 ; 0,09] : l'effet n'est pas démontré. La grille a surtout amélioré le respect du format de réponse (90 % de réponses valides contre 74 %).
Notre approche : extraire, puis calculer
Nous séparons les deux tâches :
- Le modèle extrait, il ne note pas : pour l'offre, une liste d'exigences (obligatoires, souhaitées) ; pour le CV, des expériences datées, des formations, des compétences. Chaque élément extrait cite le passage du texte d'origine, et une citation introuvable fait rejeter l'extraction.
- Le modèle compare chaque exigence au CV : satisfaite, partielle, manquante, ou non déterminable quand le CV ne dit rien (le silence n'est pas une absence).
- Du code calcule la note. Les années d'expérience se calculent en fusionnant les périodes (deux postes simultanés ne comptent qu'une fois) ; les trous de carrière sont signalés, jamais pénalisés ; les qualités personnelles (rigueur, curiosité…) ne sont pas notées.
Sur 40 paires d'essai, 39 ont abouti. L'accord avec nos annotateurs automatiques est de 0,50, mais 32 de ces 39 paires sont jugées sans rapport par les deux annotateurs : le chiffre ne dit presque rien. Nous n'avons encore aucune étiquette humaine en français, et nous ne ferons aucune promesse sur la qualité tant que ce n'est pas le cas.
Ce que cela implique pour vous
Quand la notation sera disponible, elle expliquera chaque point : quelle exigence est satisfaite, laquelle manque, et sur quelle phrase de votre CV elle s'appuie. Et elle indiquera ce qu'elle ne peut pas déterminer.
