Modèle léger ou grand modèle : comparer le coût après vérification

Un modèle peut coûter moins cher par réponse et plus cher par document correct. S’il demande de vérifier davantage de champs ou de corriger davantage d’erreurs, la différence apparaît dans le temps de l’équipe.

« Flash » est un nom de produit, pas une unité de vitesse ou de qualité. Je ne le considérerais pas comme la garantie qu’une petite tâche sera résolue. Je comparerais des modèles précis sur les mêmes documents, avec les mêmes critères d’acceptation.

La facture des appels

Je prends un exemple hypothétique d’extraction de données. Dans cet exercice, A représente l’option d’un modèle léger et B celle d’un grand modèle. Les tarifs et les erreurs que je leur attribue sont des hypothèses de calcul : la taille ne démontre pas qu’un modèle réel a ce coût ou cette qualité. Aucun montant de ce tableau n’est un tarif commercial actuel et aucun pourcentage ne provient d’un essai. Je suppose 1 000 documents par mois, un appel par document, 2 000 tokens d’entrée et 200 de sortie par appel. Le total est de 2 millions de tokens d’entrée et 0,2 million de sortie.

Hypothèse	Modèle A	Modèle B
Tarif d’entrée par million de tokens	0,20 €	2 €
Tarif de sortie par million de tokens	0,80 €	8 €
Coût mensuel des appels	2 × 0,20 + 0,2 × 0,80 = 0,56 €	2 × 2 + 0,2 × 8 = 5,60 €

Ce calcul simplifié exclut les taxes, le cache, les appels supplémentaires, les outils, la lecture préalable du document et d’autres catégories facturables. La documentation de Google sur les tokens permet de compter les entrées et de consulter la consommation ; elle distingue aussi d’autres types de tokens. Pour chiffrer un service réel, j’utiliserais ses relevés et les conditions du modèle choisi, sans convertir les mots en tokens selon une équivalence fixe.

Le coût pour obtenir un document correct

Je suppose maintenant que le processus manuel complet prend quatre minutes par document : 1 000 × 4 = 4 000 minutes, soit 66 heures et 40 minutes par mois.

Avec les deux modèles, je conserve une demi-minute de vérification par document : 500 minutes. Je suppose aussi que A laisse 50 documents avec une erreur détectée, soit 5 % ; B en laisse 10, soit 1 %. Chaque correction ajoute trois minutes après la vérification habituelle. Il s’agit d’erreurs détectées ; je n’ai pas évalué les dommages de celles qui pourraient passer inaperçues.

Travail humain mensuel	Modèle A	Modèle B
Vérification habituelle	500 minutes	500 minutes
Corrections supplémentaires	50 × 3 = 150 minutes	10 × 3 = 30 minutes
Entretien interne	60 minutes	60 minutes
Temps libéré par rapport aux 4 000 minutes	3 290 minutes	3 410 minutes

B coûte 5,04 € de plus en appels et libère, selon ces hypothèses, deux heures supplémentaires. À 25 €/heure de travail, cela représenterait 50 € de capacité. La comparaison ne favoriserait B que si la différence d’erreurs et de temps est confirmée et si ces heures ont une utilité.

Pour compléter le calcul, je suppose 80 €/mois d’outils pour les deux. Le solde de capacité valorisée serait de 3 290 ÷ 60 × 25 − 80 − 0,56 = 1 290,27 € pour A et de 3 410 ÷ 60 × 25 − 80 − 5,60 = 1 335,23 € pour B. Le coût initial de mise en place manque encore. Ces soldes ne sont ni des recettes ni des économies de trésorerie garanties.

Ce que je mesurerais avant de choisir

Je testerais des documents clairs et difficiles et mesurerais le temps entre leur réception et l’enregistrement vérifié. Je distinguerais les erreurs par champ : confondre une description ou un compte bancaire n’a pas les mêmes conséquences. Je mesurerais aussi les longues attentes, les nouvelles tentatives et les limites du service.

Si A satisfait les exigences avec un coût total inférieur, je le choisirais. Si B réduit suffisamment le travail ou le risque, son tarif supérieur peut se justifier. Je n’ai pas cette réponse sans l’essai.