11 Les sorties et cibles extérieures
En sortie de modèle, la fonction calcule_cibles du script 19_basemen_et_sorties.R calcule le nombre de bénéficiaires de chaque prestation et prélèvement simulés, ainsi que les masses financières annuelles associées. L’objectif est de vérifier que le modèle ne s’éloigne pas trop de données de cadrage issues de sources administratives.
Ainsi, à l’issue de la dernière étape, un fichier Excel est généré, permettant de comparer les résultats d’Ines à des chiffres externes appelés “cibles”.
De plus, chaque année, une note de validation est rédigée par les équipes développeuses du modèle. Cette note compare diverses sorties d’Ines, et établit, pour l’ensemble des prestations et prélèvements couverts par le modèle, des écarts par rapport aux cibles, en comparant, par exemple, les coûts/recettes budgétaires ou le nombre d’allocataires ou de contribuables. Cette note de validation vise notamment à :
- vérifier les sorties d’Ines et détecter d’éventuels bugs
- faire le point sur la qualité de simulation de chacun des dispositifs, et repérer d’éventuelles pistes d’amélioration
- mesurer l’écart entre le champ d’Ines (France métropolitaine, ménages ordinaires) et un champ France entière, tous ménages, pour chaque dispositif.
La dernière note de validation en date (modèle 2023) sera ajoutée sur cette documentation dès que possible.
Générer de telles sorties implique donc de répertorier l’ensemble des cibles aussi précisemment que possible.
11.1 Sources des cibles
Les sources permettant de récupérer les cibles sont les suivantes :
| Type | Source |
|---|---|
| AF, Prepare, AEEH, ASF, Paje, CF, ARS, CMG, AL, AAH, RSA, PA | Cnaf |
| ASPA, ASI | Drees |
| CSS | CMU |
| APA | Drees |
| GJ, CEJ | Dares |
| Bourses collèges - lycées | Depp |
| Impôts | DGFiP |
| Cotisations | Drees |
| CSG, CRDS | Drees |
| Chèque énergie | Drees |
| Indicateurs pauvreté et inégalités | Insee |
Chaque année, il faut demander les différentes sources à partir du mois de novembre. Puis mettre à jour les cibles.
11.2 Remplir les cibles de l’année AAAA
Une fois par an, pour la validation du modèle Ines, les cibles sont à remplir pour l’année en cours.
11.2.1 La plateforme Onyxia
Tout d’abord, tous les fichiers intermédiaires, y compris le fichier Construction_Cibles_AAAA.xls, sont partagés entre les équipes Ines sur la plateforme Onyxia. Il faut donc avant toute chose se créer un compte sur cette plateforme, et demander à se faire ajouter sur l’espace Ines aux équipes de la Division Innovation Instruction Technique (DIIT) de l’Insee.
11.2.2 Préparation du fichier
Dans le fichier Cibles_Ines.xls (rangé dans le répertoire Paramètres), créer un nouvel onglet Cibles_AAAA en copiant-collant l’onglet le plus récent et en vidant les cellules, qui seront à remplir. Renommer les colonnes (AAAA).
Créer le fichier Construction_Cibles_AAAA.xls à partir de l’ancien et l’enregistrer sur le dépôt de la note de validation.
11.2.3 Trouver des statistiques externes de comparaison
Des sources différentes sont à mobiliser pour récupérer des données de cadrage. Celles-ci sont détaillées soit dans le fichier Cibles_Ines.xls (colonne “Source”), soit directement dans le fichier Construction_Cibles_AAAA.xls (ligne “Source”). Chaque institution (Insee, Drees et Cnaf) est habituellement en charge d’une partie de ces sources.
11.2.4 Se ramener au champ d’Ines
Remplir le fichier Construction_cibles_AAAA.xls en suivant les indications de l’onglet “A_LIRE”. L’idée de cette étape est de ramener les statistiques disponibles au champ d’Ines (France entière, ménages ordinaires, tous régimes, et effectifs en année pleine et non au 31/12/AAAA).
Le nombre d’allocataires / de contribuables et les recettes ou coût pour les pouvoirs publics associés à chaque dispositif sont publiés pour l’ensemble des ménages, et non pour les seuls ménages ordinaires couverts par le modèle.
Pour comparer les résultats du modèle à des cibles externes, il est ainsi nécessaire de corriger ces dernières pour qu’elles correspondent au champ d’Ines : on applique ainsi un facteur de correction « ménages ordinaires », et, quand la cible est établie sur la France entière, un facteur de correction « France métropolitaine » (par ex. pour les prélèvements).
Les fichiers source (Caf, comptabilité nationale, DGFip, Ena …) sont à enregistrer pour trace dans le sous-répertoire Sources sur le dépôt concernant la note de validation.
11.2.5 Remplir le fichier
A partir des tableaux de Construction_cibles_AAAA.xls, remplir l’onglet AAAA du fichier Cibles_Ines.xls. Ce sont ces chiffres qui seront importés dans la fonction calcule_cibles puis comparés avec les résultats du modèle.
ce processus est en cours d’automatisation.
11.2.6 Cibles des années antérieures
Parfois, quand les cibles ne sont pas disponibles, on doit faire des hypothèses plus ou moins fortes pour pouvoir malgré tout comparer les sorties d’Ines à quelque chose. Un an plus tard pourtant, on dispose de données de cadrage plus fraîches. En principe, la mise à jour des cibles de l’année AAAA devrait aussi être l’occasion de rafraîchir les onglets Cibles_Ines_AAAA-1.
Attention : Eviter au maximum de modifier les lignes ou leur ordre dans le fichiers Cibles_Ines.xls. Si c’est nécessaire (erreur à corriger ou nouveau dispositif à incorporer), alors il faut en principe faire l’ajout dans tous les onglets des années précédentes, de manière à s’assurer que la fonction calcule_cibles tourne sur toutes les années.