Remplacer Sonnet par un modèle moins cher : qui en a eu le pouvoir chez Amazon

Deux ingénieurs d'Amazon, Carr et Mehul, viennent de publier un retour d'expérience sur le blog de Strands Agents : ils ont remplacé Claude Sonnet 4.6 par un modèle de décision nommé Strands Decider E4B pour classer les tickets internes de l'entreprise, avec une qualité jugée comparable et un coût divisé par environ 44, soit près de 500 dollars contre 22 200 dollars par million de tickets. L'article détaille la méthode. Il dit peu de choses sur ce qui l'a rendue possible.
Le modèle n'était pas le vrai verrou
Sonnet 4.6 tenait très bien son rôle. Rien dans le texte source ne décrit un dysfonctionnement, une panne ou une alerte qui aurait poussé au changement. Les deux ingénieurs ont simplement testé autre chose, mesuré, et basculé. Ce qui a permis ça n'est pas une faiblesse technique du modèle en place, c'est la capacité de deux personnes à remettre en cause un choix qui fonctionnait déjà.
Dans une PME, ce mandat existe rarement. Le modèle ou l'outil IA en production a souvent été choisi une fois, par une personne ou un prestataire, puis il reste parce que personne n'a le temps, la légitimité ou l'autorisation de le challenger à nouveau. Le coût caché n'est pas le modèle, c'est l'absence de mandat pour le questionner.
Comparer sur le trafic réel, pas sur un benchmark
Le détail le plus utile de l'article n'est pas le gain de coût, c'est la méthode : un commutateur à trois positions qui faisait tourner Sonnet seul, les deux modèles en parallèle, puis Decider seul, avec retour arrière en 45 secondes. Trois conditions ressortent du texte :
- un volume suffisant pour que la comparaison soit significative
- un retour en arrière possible sans dommage
- quelqu'un qui juge chaque désaccord entre les deux sorties, pas seulement la moyenne
Sans ces trois conditions réunies, la remise en cause reste théorique. Et sans quelqu'un qui porte explicitement cette question dans l'entreprise, même les conditions réunies ne suffisent pas à ce que le test ait lieu.
C'est exactement la question que pose notre article Intégrer l'IA dans son entreprise : ce que l'IA fait seule, ce qui demande un conseil : certains arbitrages ne se tranchent pas par l'outil, ils se tranchent par qui a le droit de les rouvrir.




