DeepL est aujourd’hui l’une des solutions de traduction automatique les plus reconnues du marché. Basée sur des réseaux de neurones, elle fournit des traductions de haute qualité avec un traitement quasi instantané.

Dans un contexte où les entreprises doivent diffuser leurs contenus à l’échelle internationale, la demande pour des solutions de traduction automatique ne cesse d’augmenter. Aux côtés d’acteurs historiques comme Google Translate ou DeepL, de nouvelles approches basées sur l’IA générative, telles qu’Amazon Bedrock, ouvrent de nouvelles perspectives.

L’un de nos clients souhaitait explorer l’intégration de l’IA générative dans son système de traduction en temps réel, déjà principalement basé sur DeepL, afin d’améliorer la personnalisation des traductions.

L’objectif était double : adapter les traductions au contexte métier grâce à l’injection de contexte, afin de respecter le ton et le vocabulaire du site web, et utiliser les modèles de fondation disponibles dans Amazon Bedrock pour assister les équipes de relecture.

Dans cet article, nous comparons plusieurs modèles disponibles dans Amazon Bedrock à DeepL selon trois critères : la qualité des traductions, la latence et le coût.

Amazon Bedrock appliqué à la traduction

Amazon Bedrock est un service entièrement managé d’AWS qui donne accès, via une API unique, à plusieurs modèles de fondation de fournisseurs différents, sans nécessiter de gestion d’infrastructure.

Pour cette étude, nous avons notamment testé les modèles Anthropic Claude Haiku et Claude Sonnet, ainsi que Meta Llama et d’autres modèles disponibles sur la plateforme. Nos expérimentations se sont concentrées sur des traductions de l’anglais vers le français.

Trois indicateurs ont été retenus :

• la qualité de traduction grâce au score BLEU ;

• la latence ;

• le coût de traitement.

Évaluer la qualité avec le score BLEU

Le BLEU — Bilingual Evaluation Understudy est l’un des indicateurs les plus utilisés pour mesurer la qualité d’une traduction automatique.

Il compare une traduction produite par un modèle à une ou plusieurs traductions de référence en mesurant leur niveau de similarité. Le score varie entre 0 et 1 : plus il est élevé, plus la traduction est proche de la référence.

Dans notre contexte, utiliser les traductions existantes comme référence aurait toutefois introduit un biais important : elles avaient déjà été réalisées avec DeepL. Nous avons donc adopté une méthodologie différente.

Une comparaison entre modèles

L’ensemble de notre jeu de données a été traduit avec plusieurs modèles disponibles dans Amazon Bedrock ainsi qu’avec DeepL.

Chaque modèle a ensuite été comparé aux traductions produites par tous les autres modèles. Les différents scores BLEU obtenus ont été moyennés afin d’obtenir un score de similarité moyen.

Cette approche permet d’évaluer dans quelle mesure les traductions d’un modèle se rapprochent de celles produites par les autres solutions évaluées.

Analyse de la latence

Au-delà de la qualité, la vitesse de traduction constitue un critère essentiel, notamment pour les usages en temps réel.

Nous avons mesuré le temps écoulé entre l’envoi d’une requête et la réception de la traduction, ainsi que le temps nécessaire pour traiter l’ensemble de notre jeu de données.

Celui-ci était composé de 193 phrases, représentant environ 10 869 caractères, soit près de 2 200 tokens.

Dans cette première expérimentation, aucune optimisation particulière, telle que la parallélisation ou le découpage intelligent des textes — chunking — n’a été mise en œuvre.

Analyse des coûts

Nous avons également comparé les coûts de traduction. Pour Amazon Bedrock, les mesures proviennent directement d’AWS Cost Explorer.

DeepL facture principalement selon le nombre de caractères traduits, tandis qu’Amazon Bedrock facture l’utilisation des modèles selon le nombre de tokens consommés, y compris ceux utilisés par les prompts.

Résultats

Les résultats montrent qu’Anthropic Claude Sonnet 3 obtient le meilleur score BLEU moyen parmi les modèles évalués.

Ses traductions sont celles qui se rapprochent le plus des résultats produits par les autres modèles, y compris DeepL. Claude Haiku et Claude Sonnet présentent par ailleurs des comportements très proches, avec une forte similarité dans leurs résultats.

Performance

En matière de temps de réponse, DeepL reste la solution la plus rapide.

Les modèles Anthropic affichent une latence plus importante. Cela s’explique notamment par leur nature généraliste : contrairement à DeepL, spécifiquement conçu pour la traduction, les grands modèles de langage sont également capables de réaliser des tâches comme le résumé, le dialogue, le raisonnement ou la génération de code.

Nos tests n’intégraient toutefois aucune optimisation. La parallélisation des requêtes ou l’optimisation des prompts pourraient permettre de réduire cette latence.

Coût

Pour notre jeu de données, le coût de traduction avec DeepL Pro est d’environ 0,25 €.

À titre de comparaison :

• Claude Sonnet : environ 0,07 €

• Claude Haiku : environ 0,01 €

Amazon Bedrock apparaît ainsi comme une alternative particulièrement compétitive sur le plan économique, tout en conservant une qualité de traduction comparable aux meilleures solutions évaluées.

Cette étude montre que les modèles de fondation disponibles dans Amazon Bedrock constituent une alternative crédible aux moteurs de traduction spécialisés.

Si DeepL conserve un avantage en matière de rapidité, les modèles Anthropic, et en particulier Claude Sonnet, offrent une excellente qualité de traduction avec un coût inférieur.

Amazon Bedrock apporte également une flexibilité supplémentaire grâce à l’injection de contexte, permettant d’adapter les traductions au vocabulaire métier, au ton d’une entreprise ou à un domaine fonctionnel spécifique.

Plusieurs pistes d’amélioration restent envisageables, notamment l’optimisation des prompts, le fine-tuning de certains modèles ou l’exploration de services AWS complémentaires comme Amazon Translate lorsque la vitesse de traitement constitue le principal critère.

Les modèles de fondation ne se limitent donc plus aux usages conversationnels : ils constituent désormais une option sérieuse pour les workflows de traduction professionnelle.