Nous disposons actuellement de données plus ou moins complètes pour les premiers quatre centaines de vers, jusqu’à la fin du commentaire de Uccellini. Les chiffres à ce stade-ci ressemblent bien à ceux des premières semaines : les resultats de Tesserae validés par nos participants ne comprennent que 10% (ou moins) des intertextes indiqués par les commentaires ; à la même fois, ils augmentent le total de bons intertextes par environ 20%.
We now have more or less complete data for the first 400 lines or so, as far as the end of Uccellini’s commentary. The numbers at this point are very similar to what we saw in the first weeks of the course: Tesserae results, after validation by the participants in the class, only include 10% or less of the intertexts noted in the commentaries; at the same time, they also add about 20% to the total number of valid intertexts.
Validation
Comme nous avons déjà vu, notre procédé de validation peut être un peu strict : parfois on jètte même certaines intertextes qui se trouvent dans les commentaires. Si on considère tous les resultats de Tesserae, sans validation, le logiciel arrive à attraper presque deux fois plus de bons intertextes, mais dans le cadre de 2’400 resultats en tout, dont la plupart ne sont pas utiles.
As have seen, the process of manually validating Tesserae results can be overly strict, at times dropping intertexts which are in fact listed in the commentaries. If we consider the raw Tesserae results, without validation, the software actually catches twice as many of the commentary intertexts; but this is in the context of 2,400 results in total, most of which uninteresting.
Jusqu’ici nous employons un «score cutoff» de 9. Si on prend uniquement les resultats ayant des scores de 10 ou supérieur, le taux de validation s’élève, quoique le nombre de résultats se reduit beaucoup.
To this point, we have been using a Tesserae score cutoff of 9. If we take only those results with a score of 10 or higher, the rate of validation increases, although the total number of results drops steeply.
Le graphique suivant montre les variations du rappel et de la précision qui correspondent à une hausse du score cutoff de 9 jusqu’à 10. Le rappel indique le taux auquel on réussit d’attraper des bons resultats : ici, ça veut dire le nombre des intertextes notés par les commentaires et trouvés par Tesserae divisé par le nombre total des intertextes dans les commentaires. La précision indique le taux auquel on réussit d’éviter des mauvaises resultats : ici, c’est le nombre d’intertextes commentaires trouvés par Tesserae sur le nombre de resultats Tesserae en tout. Mais nota bene: on n’imagine pas que tous les bons intertextes se trouvent dans les commentaires…
This figure shows how precision and recall vary as the score cutoff is raised from 9 to 10. Recall indicates the rate at which Tesserae succeeds in capturing good results: here, the number of commentary intertexts found by Tesserae divided by the total number of commentary intertexts. Precision indicates the rate at which Tesserae succeeds in omitting false positives: here, it is the number of commentary intertexts found by Tesserae divided by the total number of Tesserae results. But NB: we don’t really imagine that the commentaries contain all real intertexts…
