Protocole de pilote
Un pilote conçu pour trancher, pas pour rassurer.
- Conception
- Avant / après, mêmes personnes
- Participants
- 15
- Durée
- 8 semaines
Vous en attendez 20 % : si le gain est réel, les mesures le montreront.
1. Objectif et hypothèse
Le pilote doit établir si l'IA réduit le temps nécessaire à le cas d'usage d'au moins 20 % — soit de 45 min à environ 36 min par tâche — sans dégrader la qualité.
2. Conception et taille
Les mêmes 15 personnes sont mesurées sans IA, puis avec. Chacun sert de point de comparaison à lui-même, ce qui élimine les écarts entre personnes. Pour démontrer un gain de 20 %, il faut 14 personnes ; avec 15, le plus petit gain démontrable est de 18,8 %.
| Participants | Plus petit gain démontrable |
|---|---|
| 5 | 59,3 % |
| 8 | 30,9 % |
| 10 | 25,4 % |
| 12 | 22 % |
| 15 | 18,8 % |
| 20 | 15,7 % |
| 30 | 12,3 % |
| 40 | 10,5 % |
| 60 | 8,4 % |
| 80 | 7,2 % |
| 120 | 5,9 % |
3. Calendrier
| Semaine | Phase | Ce qui se passe |
|---|---|---|
| S1 | Mesure de référence | Chronométrer 10 tâches par participant, sans IA. |
| S2 | Mesure de référence | Chronométrer 10 tâches par participant, sans IA. |
| S3 | Prise en main | Formation, accès, consignes de mesure. Pas de mesure cette semaine. |
| S4 | Pilote | Mesurer les tâches avec l'IA. |
| S5 | Pilote | Mesurer les tâches avec l'IA. |
| S6 | Pilote — point d'étape | Vérifier que la mesure est faite par tous ; recueillir les premiers retours ; ne rien changer au protocole. |
| S7 | Pilote | Mesurer les tâches avec l'IA. |
| S8 | Analyse et décision | Comparer, appliquer les critères de décision fixés à l'avance, décider. |
4. Ce que l'on mesure
| Indicateur | Comment le mesurer |
|---|---|
| Temps par tâche | Chronométrage de 10 tâches par personne et par période, consigné dans un tableau partagé. |
| Qualité | Relecture à l'aveugle d'un échantillon de livrables (avec et sans IA mélangés) par une personne qui ignore lesquels sont lesquels, notée de 1 à 5. |
| Adoption | Part des participants qui utilisent l'outil au moins trois jours par semaine. |
| Utilité perçue | Question unique en fin de semaine : « L'outil m'a fait gagner du temps cette semaine » (1 à 5). |
| Erreurs et reprises | Nombre de livrables renvoyés ou corrigés après coup. |
5. Critères de décision, fixés avant de commencer
6. Biais à surveiller
- Volontariat — les volontaires sont les plus à l'aise avec l'outil ; leurs gains surestiment ceux du reste de l'équipe.
- Effet de nouveauté — l'enthousiasme des premières semaines retombe ; d'où au moins trois semaines de pilote.
- Effet d'observation — se savoir mesuré fait travailler plus vite, avec ou sans IA ; d'où la mesure aussi pendant la référence.
- Tâches faciles — ne mesurer que les tâches où l'IA brille surestime le gain ; tirer les tâches au hasard dans le flux réel.
- Un avant / après sur les mêmes personnes est économique, mais tout ce qui change pendant la période (charge, saisonnalité, réorganisation) se lit comme un effet de l'IA. Notez ces événements.
7. Validation
Protocole généré par l'outil « Concevoir un pilote » d'i-avantage, dans votre navigateur. Les dispersions par défaut sont des ordres de grandeur : remplacez-les par celles mesurées pendant la semaine de référence.