Cinq mots-clés doivent devenir une courte note d’entretien. Faut-il mobiliser le plus grand modèle de langage disponible à chaque demande ? Il est souvent préférable de commencer par délimiter clairement la tâche et tester un modèle plus petit.
Le résultat attendu tient en quelques lignes.
Un appel fictif est consigné avec les éléments suivants : « La cliente demande la date de livraison, le devis est disponible, clarification interne en attente, retour demain. » Le message doit résumer le contenu de façon compréhensible. Il ne doit ni inventer une date de livraison ni transformer ces notes en commande ou en engagement tarifaire.
Pour cette tâche, l’exhaustivité, l’attribution correcte et le traitement des informations manquantes sont déterminants. Un raisonnement particulièrement détaillé ou une grande fenêtre de contexte peuvent entraîner un effort supplémentaire sans rendre la note plus utile.
D’abord les critères d’acceptation, ensuite le choix du modèle.
Le jeu de test ne contient pas seulement des exemples bien rédigés. Il comprend des abréviations, des fautes de frappe, des indications temporelles contradictoires et des interlocuteurs manquants. Pour chaque exemple, on définit ce qui peut être repris et ce qui nécessite une demande de précision.
Un modèle plus petit convient s’il satisfait ces exigences de façon fiable. Sinon, on en cherche la cause : entrée ambiguë, préparation inadaptée, absence de validation ou capacités réellement insuffisantes du modèle. Un modèle plus grand peut aider, mais ce n’est pas la réponse la plus économique à toutes les erreurs.
Un routeur contrôlé peut traiter les tâches différemment.
Une courte note d’entretien peut suivre un autre chemin de traitement qu’une analyse contractuelle complexe ou une revue de code. Le choix tient compte du besoin de protection, des fournisseurs approuvés, de la qualité et du temps de réponse. Si le résultat est insuffisant, une demande de précision ou une escalade définie suit.
Un modèle de remplacement ne doit pas déclencher un nouveau transfert de données non autorisé. La vérification métier et les limites budgétaires restent applicables même lorsque l’API initialement choisie n’est pas joignable.
Le prix des tokens n’est qu’une ligne du calcul.
Un appel bon marché peut devenir coûteux si les salariés doivent souvent corriger les résultats. Inversement, un modèle plus cher peut être pertinent au total s’il accomplit une tâche exigeante avec nettement moins de corrections. On compare la même tâche avec les mêmes exigences de qualité.
- Utilisation
- Consommation en entrée et en sortie, appels supplémentaires aux outils et répétitions nécessaires.
- Qualité
- Part des résultats réellement exploitables et conséquences des erreurs factuelles critiques.
- Reprises
- Temps consacré à la vérification, aux corrections, aux demandes de précision et à un nouveau traitement.
- Exploitation
- Intégration, supervision, mises à jour, limites et gestion des indisponibilités.
Les entrées peuvent elles aussi être améliorées.
Pour la note, on transmet les mots-clés nécessaires, sans fournir par précaution tout l’historique du client. Un format de sortie clair facilite la vérification. Lorsque le service le permet, les parties récurrentes de l’entrée peuvent profiter du prompt caching. Il faut mesurer si le cache est effectivement utilisé et quel effet cela produit.
Le traitement asynchrone par lots est une autre possibilité pour les tâches qui n’exigent pas de réponse immédiate. Il convient par exemple davantage à un ensemble documentaire préparé qu’à une note nécessaire pendant l’entretien.
Un forfait déjà disponible ne rend pas l’attente gratuite.
Les quotas déjà payés peuvent influencer la décision. Les entrées inutiles, les corrections humaines et la capacité occupée restent néanmoins pertinentes. Une architecture économique mesure le coût par opération réussie et le réévalue après une modification du modèle ou du produit.
La page spécialisée Optimisation des coûts de l’IA explique le routage des modèles, les passerelles et l’infrastructure locale. Pour situer des processus complets, Script, workflow ou agent d’IA ? complète la réflexion.
Sources : OpenAI : optimisation des coûts · OpenAI : prompt caching · OpenAI : traitement par lots. Aucune promesse générale d’économies ou de prix.
