Processus D’auto-Evaluation de la Banque Africaine de … · 2020. 6. 15. · présent rapport...

i

Evaluation Des Système Et Des

Processus D’auto-Evaluation de la

Banque Africaine de Developpement

Corporate evaluations

Decembre, 2019

ii

REMERCIEMENTS

Chef de projet Foday Turay, Chargé d’évaluation en chef, IDEV.1

Membres de l’équipe Stephanie Yoboue, Consultante junior, IDEV.1 et Henda Ayari Archiviste / documentaliste, IDEV.1

Consultants Centennial Group International: Chefs d’équipe: Adolfo Brizzi et Hedi Manai

Pairs-évaluateurs en interne Andrew Anguko, Conseiller en chef chargé de la qualité et des methods, IDEV.0; Monica Lomena, Chargée d’évaluation principale, IDEV.2 ; Akua Arthur-Kissi, Chargée d’évaluation senior, IDEV.2 et Latefa Camara, Chargée d’évaluation, IDEV.1

Pair-évaluateur externe Marie Gaarder, Directeur exécutif, Initiative internationale pour l’évaluation d’impact (3ie)

Groupe de référence au sein de la Banque

Claudia Ngassa, Coordinateur principal de programme, PINS.0 ; Carlos Mollinedo, Économiste de l'énergie / spécialiste des politiques, PERS.1; Grace Ochola, Assistante des opérations, AHRF0; Mamadou Tangara, Chargé régional en chef des programmes, RDGC; Alain Pierre Mbonampeka, Chargé régional en chef des programmes RDGE.4; Mukaila A Ojelade, Consultant, RDGE.4 ; Noel Kulemeka, Chef de division du soutien à la mise en œuvre, RDGS; Adeleke Salami, Macroéconomiste principale, ECMR.1; Jean Marie Dabire, Economiste principale pays, CODD; Sandrine Alissoutin, Chargée principale de l’assurance qualité, SNOQ.2 ; Thierry Kangoye, Chargé principale de stratégie et de politique, SNSP.1; Patrice Horugavye, Coordinateur environnemental et social, RDGC.4; Angela Nalikka, Chef de division, PESD.1; Philip Boahen, Économiste en chef des politiques agricoles AHA.1; Francis Ofoe Konu, Spécialiste du suivi et de l'évaluation, AHWS.0; Tom Mboya Owiyo, Conseiller, AHVP; Cyril Blet, Chargé en chef de la responsabilité, SNDR.1; Charles Mulingi, Spécialiste senior des résultats, SDNR.1; Samba Kamara, Chargé régional en chef des programmes, RDGW.0 ; Evelynne Change, Chargée en chef de la gouvernance, RDGS; Rosemond Offei-Awuku, Économiste en chef du développement AHHD.0; Mouhamed Gueye, Économiste en chef du développement RDGN.2

Charge de la Gestion des Connaissances

Jayne Musumba, Chargée principale de la gestion des connaissances, IDEV.3 et Abdoul-Aziz Ouattara, Assistant de connaissances en évaluation, IDEV.3

Autre(s) assistance/contributions apportée(s) par

Myrtha Diop, Assistante administrative senior, IDEV.0; Ruby Adzobu-Agyare, Secrétaire, IDEV.0; Helmi Hmaidi, Chargé principal d’assurance qualité, SNOQ.2

Chef de division Rufael Fassil, Foday Turay (OIC)

Évaluateur général Roland Michelitsch, Karen Rot-Münstermann (Intérimaire)

iii

TABLES DES MATIERES

Sigles et abréviations ....................................................................................................................................... v

Résumé analytique ......................................................................................................................................... vii

I. Contexte et généralités ........................................................................................................... 1

II. Finalité, objectifs et champ d’application ................................................................................................. 2

A. Finalité .............................................................................................................................................. 2

B. Objectifs ............................................................................................................................................ 2

C. Champ d’application.......................................................................................................................... 3

III. Méthodologie ......................................................................................................................................... 4

A. Théorie du changement (TdC) ........................................................................................................... 4

B. Questions de l’évaluation .................................................................................................................. 6

C. Méthodes d’évaluation ..................................................................................................................... 6

IV. Les catalyseurs de l’auto-évaluation ......................................................................................................... 7

A. La raison d’être de l’auto-évaluation ................................................................................................. 7

B. Conformité ......................................................................................................................................... 8

C. Franchise .......................................................................................................................................... 11

D. Gestion des notations ...................................................................................................................... 12

E. Mécanismes d’application et d’incitation pour assurer la conformité ............................................. 16

V. Principales caractéristiques des SPAE et résultats .................................................................................. 19

A. Gestion de la performance ............................................................................................................... 19

B. Promotion de la responsabilité ........................................................................................................ 24

Responsabilité interne ........................................................................................................... 24

Responsabilité externe ......................................................................................................... 26

C- Leçons tirées de l’expérience ........................................................................................................... 29

D- L’adéquation des SPAE aux cas d’espèce ......................................................................................... 30

VI- Conclusions et recommandations ........................................................................................................... 31

iv

Liste des encadrés

Encadré 1 : Définition et vue d’ensemble ....................................................................................................................2 Encadré 2 : Constatations de l’évaluation de la QoS concernant la conformité

(sur la base de 83 projets du secteur public) ............................................................................................9 Encadré 3 : La franchise : éléments de réponse issus de l’évaluation QoS.................................................................. 11 Encadré 4 : Principaux problèmes rencontrés lors de l’examen de l’échantillon de 5 ONS ............ Error! Bookmark not

defined.2 Encadré 5 : Les conséquences non voulues du système de notation .......................................................................... 14 Encadré 6 : S&E de la QoS – Étude documentaire ...................................................................................................... 19 Encadré 7 : QoS – Action de suivi - Étude documentaire............................................................................................ 21 Encadré 8 : Responsabilité – Résultats de l’enquête QoS (83 projets du secteur public) ............................................ 23

Liste des figures

Figure 1 : Processus et systèmes d’auto-évaluation – Théorie du changement........................................................... 1

Figure 2 : Cadre d’incitation des SPAE …………………………………………………………………………………………………………

Error! Bookmark not defined.18

Liste des tableaux

Tableau 1: Outils d’établissement de rapports et performance des SPAE ................................................................ xiii

Tableau 2 : Matrice d’évaluation sommaire ................................................................................................................6 Tableau 3 : Projets présentant des OD et des indicateurs d’efficience satisfaisants (3 ou plus) ..... Error! Bookmark not

defined.1 Tableau 4 : Notation avec plafond et écart satisfaisants ............................................... Error! Bookmark not defined.3 Tableau 5 : Nombre de projets dans les fourchettes de notation (sur 137) ................... Error! Bookmark not defined.3 Tableau 6 : Performance de la Banque et de l’Emprunteur (pour 137 projets) ............. Error! Bookmark not defined.5 Tableau 7 : Dimensions de l’évaluation des ONS ..................................................................................................... 166

v

Tableau 8 : Qualité des RAP .................................................................................................................................... 255

Liste des annexes dans le rapport technique

Annexe 1 : Termes de référence

Annexe 2 : Matrice d’évaluation

Annexe 3 : Méthodes d’évaluation

Annexe 4 : Note pratique du Groupe de coordination des évaluations (GCE)

Annexe 5 : Examen des organisations retenues à des fins de comparaison

Annexe 6 : Résumé des entretiens

Annexe 7 : Enquête auprès du personnel

Annexe 8 : Une vue d’ensemble de l’auto-évaluation des DSP et des DSIR de la BAD

SIGLES ET ABREVIATIONS

BAD Banque africaine de développement ADER Rapport annuel sur l’impact sur le

développement FAD Fonds africain de développement ADOA Évaluation de l’additionnalité et des

résultats en matière de développement BAsD Banque asiatique de développement ASR Rapport annuel de supervision BTOR Rapport de mission EGRD Évaluation Globale des Résultats de

Développement CPP Chargé de programmes pays RPPP Rapport sur la performance du

portefeuille pays DSP Document de stratégie pays ESPP Évaluation de stratégie et de

performance pays DAM Matrice de délégation des pouvoirs MDPS Modèle de développement et de

prestation de services R/OD Résultat/objectif de développement GCE Groupe de coopération pour l’évaluation E&S Environnemental et social PEES Procédures d’évaluation

environnementale et sociale SES Sauvegardes environnementales et

sociales

IDEV Département de l’évaluation indépendante du développement

IED Département de l’évaluation indépendante

IFC Société financière internationale FIDA Fonds international de développement

agricole EER Rapport sur l’état d’avancement de

l’exécution KPI Indicateurs clés de performance LdC Ligne de crédit S&E Suivi et évaluation BMD Banque multilatérale de développement EMP Examen à mi-parcours ONS Opération non souveraine REP Rapport d’évaluation de projet OAP Opération d’appui programmatique RAP Rapport d’achèvement de projet NERAP Note d’évaluation indépendante du

rapport d’achèvement de projet CEP Cellule d’exécution de projet PSR Rapport sur l’avancement de projet PPP Partenariat public-privé ERP Évaluation des résultats d’un projet AQ Assurance qualité QaE Qualité à l’entrée QoS Qualité de la supervision et à la sortie

vi

DSIR Document de stratégie d’intégration régionale

EPSIR Évaluation de programmes et stratégies d’intégration régionale

PMR Pays membre régional RMF Cadre de mesure des résultats RRS Système de soumission des résultats SAP Systèmes, applications et produits SPAE Systèmes et processus d’auto-évaluation SNOQ Département Gestion des performances

en matière de prestations et résultats SOU Unité des opérations spéciales AT Assistance technique CP Chef de projet TdC Théorie du changement SD Stratégie décennale du Groupe de la Banque pour la période 2013-2022 BM Groupe de la Banque mondiale RSE Rapport de supervision élargie NERSE Note d’évaluation du rapport de

supervision élargi

vii

I. Résumé analytique

Introduction

L’évaluation des Systèmes et des processus d’auto-évaluation (SPAE) de la BAD intervient à un moment critique où l’institution connaît de profondes mutations et revisite ses directives stratégiques et ses processus opérationnels. Elle déploie ces efforts après avoir compris que sa capacité à atteindre ses objectifs en matière de développement dépend de la qualité de ses opérations. Dès lors, elle a, ces dernières années, entamé un diagnostic sans complaisance des processus liés à l’assurance qualité (AQ). À cela s’est ajoutée une série d’évaluations effectuées par le Département de l’évaluation indépendante du développement (IDEV) en vue d’examiner la pertinence, l’efficience et l’efficacité des processus en matière d’assurance qualité de la Banque tout au long du cycle de projet, et donc, de contribuer davantage à la gestion de la performance, à la responsabilité et à l’acquisition de connaissances.

La présente évaluation est conçue dans cette logique et s’appuie non seulement sur les précédents exercices évaluatifs d’IDEV relatifs à i) la qualité à l’entrée (QaE), ii) la qualité de la supervision et à la sortie (QoS), mais également sur un article « chapeau »1 combinant les différentes conclusions formulées notamment sur la conformité aux sauvegardes environnementales et sociales (SES) de la Banque. C’est ainsi que la Direction s’est servie des données disponibles, pour préparer un plan d’action s’articulant autour de cinq réformes2 et créant les conditions nécessaires à une amélioration du SPAE. Ce plan achevera l’évaluation du cadre de l’AQ et pourra logiquement poser les bases d’une institutionnalisation des « meilleures pratiques » et mettre la BAD sur le même pied que des organismes de référence.

Les SPAE sont communément définies comme l’évaluation d’un projet, d’un programme pays/régional, ou d’une revue thématique/politique par l’entité concernée. Comme l’illustre la théorie du changement (figure 1, section III), les principaux outils SPAE qui ont été utilisés sont les rapports sur l’état d’avancement, les examens à mi-parcours et les rapports d’achèvement. Trois principaux résultats sont visés par les SPAE : (i) la performance, (ii) la

1 Evaluation of Quality Assurance across the Project Cycle

(2012-2017). Octobre 2018. 2 Les 5 réformes sont : i) renforcer les connaissances du

personnel dédié aux opérations ; ii) rendre plus robuste la préparation de projets ; iii) affiner le cadre d’assurance

responsabilité et (iii) l’acquisition de connaissances ; et l’évaluation de son fonctionnement met l’accent sur trois dimensions essentielles : la pertinence, l’efficacité et l’efficience. Le tableau 1 ci-dessous résume les performances des principaux outils SPAE. Sans être des instruments SPAE proprement dits, l’établissement de rapports institutionnels à travers des tableaux de bord et le cadre de mesure des résultats (RMF) sont en partie alimentés par les SPAE.

Bien que les SPAE soient l’œuvre du personnel/Direction, IDEV les compléte le processus en validant certains produits tels que les rapports d’achèvement, ou a travers l’evaluation indépendante des projets, des documents de stratégie pays (DSP) et des documents de stratégie d’intégration régionale (DSIR).

Certes, la performance des projets est largement tributaire de celle des gouvernements des pays, des partenaires, des acteurs locaux et des facteurs externes, mais les SPAE sont sous le contrôle total de la Banque, et de sa capacite a adopter et mettre en œuvre des recommandations. Enfin, la présente évaluation tente de répondre à la question suivante : « les SPAE soutiennent-ils la gestion de la performance, la responsabilité et l’acquisition de connaissances au sein de la Banque ? » et à deux questions sous-jacentes : i) comment peut-on juger la performance des SPAE ? et ii) dans quelle mesure les SPAE influent-ils sur la qualité des résultats en matière de développement ?

L’évaluation couvre la période 2013-18 et la mise en œuvre des SPAE de l’approbation des projets à leur clôture (sortie). Elle couvre les opérations du secteur public que les opérations non souveraines (ONS). Le présent rapport met un accent particulier sur les opérations du secteur public, bien que les ONS bénéficient d’une attention singulière dans chaque chapitre. Hormis l’analyse concernant les projets et les opérations, des études de cas ont été élaborées pour un échantillon de DSP et de DSIR.

qualité à l’entrée ; iv) mettre un accent particulier sur la

prestation et les résultats ; et v) améliorer la planification, l’élaboration du budget et l’information.

viii

Principaux résultats

1. Les SPAE de la Banque présentent de nombreux atouts positifs. Ils établissent des normes et des procédures fortes qui sous-tendent leur propre fonctionnement, ainsi qu’une articulation cohérente avec la fonction d’évaluation indépendante d’IDEV. L’annexe 5 fait une description détaillée des SPAE des institutions retenues à des fins de comparaison, ce qui montre un bon niveau de conformité qui devait être attendu des membres du

Groupe de coordination des évaluations (GCE)3. Bon nombre d’outils et de processus existants sont en phase avec

ceux des institutions de référence et sont également de bonne qualité. L’articulation entre la validation des auto-évaluations et celle des évaluations indépendantes est semblable, et le système produit des données/résultats institutionnels qui sont utilisés pour soumettre des rapports au Conseil. La présente évaluation constate toutefois que les progrès vers une culture de l’efficacité du développement sont demeurés mitigés et qu’un impact des SPAE sur les trois fronts que sont la gestion de la performance, la responsabilité et l’acquisition de connaissances est illusoire.

2. Les principales faiblesses des SPAE résident dans l’application des procédures, normes et standards. Si les problèmes identifiés dans le cadre de cette évaluation reflètent les mêmes contraintes auxquelles sont confrontés les organisations de référence, trois facteurs semblent affecter le bon fonctionnent des SPAE à un niveau plus élevé au sein de la BAD : i) un faible niveau de conformité aux procédures en vigueur ; ii) l’insuffisance des ressources en matière de S&E lors des activités de supervision ; et iii) le manque de franchise assorti d’un certain parti-pris positif dans l’évaluation des performances. Cette situation a mis à mal la crédibilité du SPAE et contribué à donner l’impression que ce système avait peu de valeur ajoutée.

3. La BAD dispose d’une politique d’évaluation indépendante qui a été approuvée en 2016 et modifiée en 2019. Mais il ne s’agit pas d’une politique d’évaluation intégrée qui couvre aussi bien la fonction indépendante que l’auto-évaluation de la Banque elle-même (comme dans le cas du Groupe de la Banque mondiale – WBG – ou du FIDA). IDEV promeut le recours aux résultats des évaluations sur des sujets spécifiques, conformément à la demande formulée par le Conseil et la Direction, qui sont par ailleurs les principaux utilisateurs de ces données. L’évaluation n’ajoute de la valeur que lorsque ses résultats sont utilisés. La politique de l’évaluation indépendante de la BAD met véritablement l’accent davantage sur l’offre des évaluations que sur leur utilisation. En l’absence d’un cadre harmonisé, l’alignement des approches stratégiques, des processus et des méthodes encourra un risque. Par ailleurs, IDEV n’est pas le seul producteur des résultats d’évaluation. Toutes les opérations et tous les documents de stratégie pays/régionale (DSP et DSIR), une fois achevés, sont auto-évalués par le personnel.

4. L’efficacité des SPAE est entravée par leurs méthodes de notation, leur structure et leur mode d’application aux rapports d’achèvement de projet (RAP). On peut souligner plusieurs éléments à cet égard :

• La Banque se sert d’un système de notation à quatre points4, bien que le bien-fondé d’un système à

six points, en vigueur dans d’autres organisations de référence (BID, FIDA, GBM), ait fait l’objet de plusieurs discussions ces dernières années. Un système à six points rend plus flexible et plus réaliste l’évaluation d’un grand ensemble de projets dont la notation se trouve dans une fourchette comprise entre « Satisfaisant » et « Insatisfaisant », l’écart entre ces deux extrémités étant souvent perçu comme étant trop grand et absolu, de l’avis des membres du personnel. Cependant, il est également apparu que l’échelle à six points ne permet pas d’apprécier clairement la performance d’un projet : avec cet outil, les performances de la plupart des interventions ont tendance à être classées dans les deux catégories médianes, qui s’ajouteront finalement aux catégories jugées satisfaisantes ou insatisfaisantes, et donc, « au-dessus ou au-dessous de la barre ». S’agissant d’un système à nombres impairs (3 ou 5), il est suggéré par le Groupe de référence en évaluation (GRE) ou par le Rapport de synthèse sur les RAP de 2016, car il permettra de mieux expliquer l’espace médian de distribution (en admettant qu’on aura un profil asymétrique). Toutefois, une échelle de notation à nombres impairs

pourrait s’opposer aux normes convenues de bonnes pratiques du GRE5.

3 Un examen plus detaille des comparateurs du SPAE est contenu dans un document de travail et disponible sur

demande. 4 L’échelle se présente comme suit : 4- Très satisfaisant (TS) ; 3- Satisfaisant (S) ; 2- Insatisfaisant (I) ; et 1- Très insatisfaisant (TI). 5 La BM, l’IFC et la BID utilisent une échelle à quatre points pour les indicateurs individuels et une échelle à six points pour l’ensemble

des résultats, avec trois notations au-dessus de la barre et trois en dessous. Le FIDA utilise une échelle à six points pour toutes les situations, tandis que la BAsD recourt à une échelle à quatre points.

ix

• Le risque majeur inhérent à toute échelle de notation est de savoir si elle peut donner lieu à des notations plus positives sans que l’on ait besoin de justificatifs et, par la suite, à un plus grand « écart » avec les notations d’IDEV. Car c’est souvent le cas à la Banque. Tout système de notation présentera des faiblesses, et, quel que soit le nombre de points de notation (3, 4, 5 ou 6) retenu, des aménagements significatifs n’interviendront que si d’autres mesures sont prises pour améliorer la fiabilité du système et l’application de procédures plus rigoureuses, en vue de la production des données probantes requises.

• Le recours à de simples moyennes de sous-notations et aux dimensions pertinence, efficacité, efficience et durabilité peut quelque peu entraîner des distorsions dans les notations globales. Quelques institutions (comme la BID) donnent encore plus de poids à l’efficacité et n’attribuent de notation positive que sur la base des volets « pertinence » et « efficacité ». Il importe par ailleurs de définir le plafond d’une notation élevée. Pour la Banque, une performance globale « satisfaisante » (ou mieux) est celle qui est supérieure à 2,5, ce qui signifie que la moitié des dimensions situées au-dessus du seuil et celles en dessous est suffisante. D’autres institutions utilisent une barre plus haute (par exemple, la BAsD exige une moyenne de 2,75 – trois des quatre dimensions doivent se situer au-dessus du seuil) ou alors évitent les moyennes, et donc, l’emploi des nombres décimaux (cas de la BM, de l’IFC, du FIDA et de la BID).

• Selon le mode de définition du terme « satisfaisant », la performance d’un projet varie considérablement. Avec une note de 2,5 ou plus, 97 % des 137 RAP analysés6 sont jugés satisfaisants tandis qu’avec 3 ou plus, on n’a que 80 %. De même, l’« écart »7 entre la notation globale attribuée par le personnel dans les RAP et la faible notation attribuée par IDEV dans les NERAP est de 15 % avec « Satisfaisant » à 2,5 ou plus, et de 39 % avec « Satisfaisant » à 3 ou plus. Ce décalage soulève des questions sur la fiabilité des notations des RAP.

• Ces dernières années, dans sa Revue annuelle sur l’efficacité du développement (ADER), la Banque a présenté un tableau plus reluisant en faisant mention des notations des RAP/RSE, en lieu et place des notations de NERAP/NERSE, qui sont attribuées par IDEV. C’est, en particulier, le cas des indicateurs du cadre de mesure de résultats (RMF) sur la performance du portefeuille et le fait de s’éloigner de la pratique en vigueur dans les institutions de référence. Cette situation s’explique essentiellement par la difficulté à obtenir, avec des ressources limitées et des délais serrés, des informations validées sur un nombre croissant de RAP, en vue d’alimenter la soumission de rapports institutionnels8.

• Les notations de la performance de la Banque et de l’Emprunteur diffèrent substantiellement selon qu’elles aient été attribuées par le personnel (dans les RAP) ou par IDEV (dans les NERAP). Le personnel éprouve de la peine à attribuer une note négative à la performance de la Banque, car, s’il le fait, cela signifie qu’il n’apprécie pas sa propre performance ainsi que celle des clients de la Banque avec lesquels il essaie d’entretenir de bons rapports ; et, naturellement, il ne souhaite pas être celui qui désigne les coupables. Il est possible que le grand écart perçu entre une notation « satisfaisante » et une notation « insatisfaisante » ait également contribué à cette défaillance.

• Le déclassement des notations par IDEV crée des tensions et est souvent rejeté par le personnel, qui estime que la validation n’est qu’un exercice documentaire qui ne tient pas compte des réalités du terrain. Cela est considere comme etroitement associe a leur propre performance et a celle de leurs clients, avec lesquels le personnel essaie de maintenir une bonne relation et, naturellement, ils ne veulent pas etre considere comme des roux. Des consultations entre le personnel et l’équipe d’IDEV n’ont lieu que dans le cadre de la fourniture d’avis sur la validation d’avant-projets de RAP. Presque tous les membres du personnel interrogés estiment que la méthodologie de notation doit être révisée. Il faudra non seulement vérifier si le système pèse trop lourd sur les notations, mais également, à tout le moins, essayer d’atténuer la perception selon laquelle i) les notations sont faciles à « modifier » ; ii)

6 IDEV. Synthesis Report on the validation of the 2016 and 2017 RAPs (2019) – Rapport de synthèse sur la validation des RAP 2016 et 2017.

7 L’ » écart net » est la différence entre le nombre de cas auxquels IDEV attribue une note plus élevée (revue à la hausse) et le nombre

de cas auxquels il attribue une note plus faible (revue à la baisse). 8 En 2018, IDEV a validé 100 % de RAPs de 2016 et de 2017, en dépit de croissantes contraintes budgétaires et de temps qui retardent

la mise à disposition de notations en vue de l’établissement des rapports institutionnels. Dès 2019, cependant, IDEV ne devra valider

que 65 % de RAP et 100 % de RSE. En fournissant des données validées au cours du premier trimestre de l’année suivante, il donnera le temps de les insérer dans les rapports RMF/ADER et de résoudre ainsi un problème actuel : l’utilisation des notations des RAP comme une variable.

x

la validation par IDEV est hors contexte et le plus souvent antagonique de nature ; iii) l’écart avec les notations attribuées par IDEV peut être en grande partie ignorée ; et iv) la méthodologie de notation est trop rigide et administrative.

Comme l’illustre la théorie du changement (section III), la logique sous-jacente des SPAE est qu’ils peuvent contribuer à améliorer sensiblement la gestion de la performance, la responsabilité et l’acquisition de connaissances. Les autres constatations s’articulent autour de ces trois principaux résultats.

A) Gestion de la performance

5. Le manque de franchise dans les auto-évaluations, particulièrement dans les rapports sur l’état d’avancement de l’exécution (EER), les rapports annuels de supervision (ASR), les RAP et les RSE, peut s’expliquer, entre autres, par l’inexistence d’un mécanisme d’incitation adéquat. Plusieurs sources, y compris le Rapport rétrospectif sur la qualité de SNOQ, l’évaluation de la QoS, le Rapport de synthèse sur les RAP de 2016 et de 2017, les entretiens avec le personnel et les études de cas (voir paragraphes 47 à 53), permettent de faire ce constat. Le fait de croire que la performance d’un projet équivaut à celle du personnel affecte la motivation à apprécier avec franchise des projets peu performants. La perception selon laquelle les SPAE constituent un mécanisme de mise en conformité visant à cocher des cases, protéger sa réputation et se fier à une faible production de données probantes (cadre de S&E et cadre de résultats), a des répercussions sur l’efficacité desdits SPAE. La franchise est également minée par la faiblesse des mécanismes de responsabilisation. Enfin, le personnel semble ignorer qu’en se considérant comme le « fournisseur de solutions », il pourrait mieux anticiper sur l’identification des problèmes et des mesures correctives.

6. Un certain nombre de problèmes limitent la contribution des SPAE à l’amélioration de la performance du portefeuille (voir paragraphes 74 à 97, sous « gestion de la performance », pour les détails et les sources d’information).

• La culture, les incitations et les principaux indicateurs de performance (KPI) institutionnels de la Banque sont défavorisés par rapport aux approbations de prêts, comme dans d’autres institutions de référence, avec un accent limité sur la qualité et les résultats en matière de développement. Consciente de cette situation, la Direction s’active pour y remédier à travers un plan d’action en matière d’assurance qualité.

• On fait peu de cas des incitations qui soutiennent la culture de la qualité et des résultats. Il existe peu d’occasions pour reconnaître, célébrer, internaliser et apprendre des cadres de S&E et de résultats de bonne qualité, anticiper sur la résolution de problèmes, restructurer ou exécuter avec succès des projets (le plan d’action en matière d’assurance qualité s’y attèle également) ;

• Les systèmes de S&E sont déficients et faiblement connectés aux cadres de référence et de résultats. De nombreuses notations de RAP ont été déclassées par les validations d’IDEV pour défaut de données à l’appui d’une évaluation particulière ;

• Une concentration excessive sur l’accélération des approbations de projets fait que les principales activités de conception soient menées à la hâte ou renvoyées à la phase d’exécution (plans d’acquisition, études de faisabilité, validation des études d’évaluation environnementale et sociale, mise en place de la cellule d’exécution de projet – CEP –, cadre de référence). Par conséquent, la phase d’exécution accuse un retard dès le départ, d’où la nécessité de SPAE plus solides pour y remédier ;

• Il y a une forte tendance à éviter de résoudre des problèmes en restructurant des projets de manière formelle, car les coûts de transaction sont jugés prohibitifs. De ce fait, des mesures correctives ne sont pas prises et les cibles d’évaluation retenues ne cadrent plus avec la réalité ;

• Une décentralisation accrue, assortie d’un appui permanent à la mise en œuvre et à la création d’un nouveau poste de chef d’appui au projet, constitue une action positive pour les projets du secteur public. Il convient toutefois d’établir une distinction claire entre les nouveaux rôles et responsabilités du personnel au Siège et ceux du personnel affecté dans les pays et les régions ;

• Les notations de l’EE du portefeuille actif s’insèrent dans les rapports sur la performance de portefeuille pays (RPPP), qui à leur tour influent sur l’évaluation des DSP, ces deux types de rapport étant présentés en tandem. Les notations des objectifs de développement (OD) et des états d’avancement de l’exécution (EE), pour le dernier EER, ont également un impact sur celles des RAP. Par conséquent, les problèmes de conformité et de franchise affectant les EER touchent également

xi

d’autres produits SPAE ainsi que le cadre de mesure des résultats. De même, des problèmes de cohérence entre les méthodes d’évaluation des DSP et celles des RPPP se sont posés récemment (leur révision requise est en cours) ;

• Dans le cas des ONS, le manque d’outils de mesure des progrès, la réalisation des objectifs de développement et l’absence d’un système de S&E rigoureux et institutionnalisé réduisent non seulement l’efficacité dans le suivi et la soumission des résultats obtenus, mais également les chances d’atténuer efficacement les risques au cours de la mise en œuvre. Par conséquent, il devient difficile d’évaluer, d’analyser et d’établir un rapport approprié sur la performance de portefeuilles. Dans le cadre du Plan d’action en matière d’assurance qualité sur les opérations non souveraines (ONS), adopté en septembre 2019 par la Direction, d’autres questions sont à l’étude.

7. Les équipes et chefs de projet sont suffisamment motivés pour aider les clients à produire des résultats. Dans l’ensemble, ils sont engagés dans des activités de supervision. La plupart des chefs de projet et des chargés d’investissement sont toutefois débordés, et l’appui supplémentaire nécessaire pour résoudre les problèmes posés et aider à appliquer convenablement les SPAE fait défaut. La Banque semble ne pas disposer de suffisamment de personnel et de compétences pour appliquer les SPAE de manière efficace et efficiente. C’est, en particulier, le cas du S&E et des sauvegardes E&S lors de la supervision, tel que documenté également dans le

récent rapport d’évaluation du Système de sauvegardes intégré (SSI)9.

B) Responsabilité

8. Le faible niveau de conformité est dû à l’insuffisance de mécanismes de responsabilité et à une carence de visibilité. En l’absence d’informations fiables, les SPAE perdent leur crédibilité. Les systèmes de mise en œuvre et d’incitation disponibles n’empêchent pas le personnel d’ignorer les règles qui leur conviennent le moins, ce qui ne leur permet pas de générer les produits attendus. De plus, la Banque est restée à la traîne pour ce qui est de mettre au point un portail informatique en ligne susceptible de donner accès à des données sur les portefeuilles et les SPAE et d’accroître la visibilité et l’efficacité du système. La fourniture, en temps réel, d’informations et données de conformité aux cadres hiérarchiques leur permettra d’exercer davantage leur responsabilité en matière de supervision, d’achever les EER/ASR et les examens à mi-parcours, et, dans le cas des chefs de projet (CP), de réduire leur charge de travail par la simplification et la rationalisation des besoins d’établissement de rapports. Cela renforcera également l’efficacité des examens de portefeuilles et des exercices de planification. Ce problème devrait être résolu par le déploiement du système de soumission de résultats (RRS), dans le cadre du plan d’action sur l’assurance qualité des projets du secteur public et des ONS. Une fois établi, ce système est censé faciliter non seulement l’automatisation de la soumission de résultats et la notification opportune des problèmes à la hiérarchie, mais également la redevabilité, la fiabilité des informations, l’efficacité dans l’établissement de rapports institutionnels et la transparence lors de l’exécution de projets.

9. Les outils d’établissement de rapports, tels que les tableaux de bord et les RMF, se sont révélés comme de puissants mécanismes qu’il convient de promouvoir afin qu’ils couvrent les indicateurs de performance. La non-notification de l’écart entre les notations de la Direction et celles d’IDEV dissimule un élément important de la redevabilité. En outre, très peu d’informations sur la performance des ONS parviennent au Conseil à travers le RMF. Les questions de confidentialité doivent être prises en compte, et l’établissement de rapports globaux peut y remédier.

10. Les processus de responsabilisation ont fait peu de cas de la qualité du suivi et de la clôture de projets. Les EER/ASR et les RAP/RSE ne sont pas pleinement considérés comme des outils de prise de décision ou d’acquisition de connaissances : ils ne sont qu’une condition administrative, avec une responsabilité limitée. Comme IDEV ne valide pas les RAP/ASR, leurs notations peuvent parfois être contestées ; et pour preuve, les EER ne font pas suffisamment l’objet de discussions ou ne sont pas systématiquement étudiés par la Direction. Les supérieurs hiérarchiques ne sont pas systématiquement tenus pour responsables de la vérification de la qualité durant les activités de supervision. Le rôle de l’Unité de gestion de portefeuille (PINS) concernant les ONS tient d’une approche à double responsabilité et apporte un certain degré de concurrence et de contestabilité en matière d’évaluation. Pour les projets du secteur public, la création récente du poste de chef d’appui à l’exécution dans chaque région pourrait contribuer à résoudre les problèmes liés au portefeuille, à entretenir la liaison avec les divisions sectorielles et à apporter une envergure tant régionale que nationale aux interventions, notamment avec

9 IDEV Integrated Safeguard System (ISS) – Draft Technical Report on overall compliance of the African Development Bank Group operations with the Integrated Safeguards System across the project cycle – Rapport – Septembre 2019.

xii

la participation du chargé de programme pays, en vue d’une meilleure convergence avec la gestion du portefeuille pays.

11. Il manque un cadre régulier et harmonisé permettant d’évaluer la performance de projets au cours de leur existence, de la conception à l’évaluation indépendante. Ce cadre permettra de relier les SPAE et ses outils à la partie prioritaire du processus AQ (qualité à l’entrée) et de garantir l’utilisation de cette approche et des indicateurs connexes tout au long du processus utilise dans les rapports d’avancement et les RAP et les RSE. Cela permettra egalement de savoir plus clairement les points où la franchise a failli et éviter toute surprise en intégrant le facteur « prévision » dans les paramètres d’évaluation utilisés. De même, cela implique que, pour les ONS, les cadres de résultats devront être mis à jour en cas de changements dans l’environnement du projet, et pour les projets, qu’il faudra notamment des indicateurs de suivi conformes à ceux adoptés par le cadre de l’évaluation de l’additionnalité et des résultats en matière de développement (ADOA).

12. Les modèles et formats utilisés pour un certain nombre d’outils SPAE ne sont pas suffisamment différenciés et adaptés à des circonstances spécifiques. Une marge de progression existe pour améliorer l’efficacité et la convivialité des modèles, et éviter des redondances, surtout entre les EER/RSE et les BTOR, comme l’a révélé l’évaluation de la QoS. Les EER ne sont adaptés ni à des entités à vocation spéciale dédiées à des investissements telles que les opérations d’appui programmatiques (OAP) et les projets d’assistance technique, ni à des situations de fragilité. Les modèles de RAP et de NERAP sont truffés de redondances, sont longs et ont des sections qui se répètent, comme le montre également le Rapport de synthèse final sur la validation des RAP de 2016 et de 2017 (2019). Les modèles ne sont pas conçus pour attirer la plus grande attention de la Direction et ne se concentrent pas sur les questions ou actions prioritaires.

13. Les produits SPAE ont une faible capacité pour signaler et résoudre des problèmes spécifiques dans les domaines de sauvegarde, du genre, du climat et de la fragilité. Comme l’a révélé la récente évaluation du SSI, les rapports de supervision et les BTOR de la Banque n’exploitent pas les principales informations E&S afin de permettre des vérifications de conformité. Les informations E&S sont en effet insuffisantes dans les rapports de supervision disponibles, sauf lorsqu’un risque institutionnel élevé devient probable. D’autres études menées par SNSC font valoir qu’une fois qu’un projet est approuvé, le système interne d’établissement de rapports de la Banque met à disposition très peu d’informations sur le suivi E&S. La dimension « genre » des systèmes de S&E est particulièrement faible, avec une moyenne de notation inférieure à 2 dans les NERAP. Il s’agit des domaines où les équipes de projet n’ont pas assez de soutien et ne sont pas bien renseignées sur les conditions à remplir pour que les SPAE atténuent l’impact d’une forte rotation du personnel qu’a vécue la Banque ces dernières années. l’Académie des opérations qui vient d’être lancée devrait permettre de resoudre ce problème une fois que tous

les modules auront été developpés.

14. Les rapports d’achèvement relatifs aux DSP/RPPP et aux DSIR ne sont pas validés par IDEV avant d’être soumis au Conseil – contrairement à la règle dans les institutions de référence –, encore moins les RAP et les RSE validés et soumis au même Conseil sous forme de document de synthèse. IDEV a procédé, dans un exercice pilote, à la validation d’un DSP et d’un DSIR et est en train d’étudier dans quelle mesure ce processus peut être généralisé. La Direction est, elle aussi, en train d’examiner la méthodologie et les directives régissant les RPPP qui pourraient

résoudre ce problème, y compris la différentiation entre les RPPP et les DSP10.

C) Acquisition de connaissances

15. Bien que les aspects liés à la performance et à la responsabilité des SPAE soient faibles, ils ont éclipsé, voire affecté, les objectifs d’acquisition de connaissances. Ce résultat est similaire à la situation dans les institutions de référence. Il existe une cloison fine entre la recherche de la responsabilité et l’acquisition de connaissances. Les documents de stratégie (pays ou thématiques) sont plus favorables à l’acquisition de connaissances, probablement parce qu’ils ne contiennent pas de notations. Le désaccord sur les notations entre le personnel et IDEV n’encourage pas la promotion de l’acquisition de connaissances. Si le RAP/RSE est perçu comme un outil pour juger le chef de projet (CP), il aura des répercussions sur la franchise dans les notations et les occasions d’apprendre. La notation elle-même pourrait constituer une entrave à l’acquisition de connaissances, car elle peut tourner le débat à la controverse et l’amener à un plan personnel.

10 Information Note to CODE on the Bank’s Group’s Assessment Methodology of CSP Performance in CSP Completion Reports (note

d’information à l’intention de CODE sur la méthodologie d’évaluation de la performance des DSP, telle qu’elle apparaît dans les rapports d’achèvement des DSP, au sein du Groupe de la Banque africaine de développement). Décembre 2018.

xiii

16. Les produits et informations SPAE ne sont accessibles nulle part. Les SPAE n’ont pas profité de l’existence d’une solide banque de connaissances que le personnel alimente et partage régulièrement. Avec la création du RRS, qui contient des données issues des produits SPAE, ce problème est en train d’être résolu. À de nouvelles formes d’apprentissage et de modèles, il faut associer des incitations et tirer des enseignements et des solutions, quel que soit le mode d’évaluation (auto-évaluation ou évaluation indépendante) utilisé dans un seul contexte de projet.

17. La qualité des RAP, telle que mesurée par le processus de validation d’IDEV, varie, mais les notations sont en moyenne faibles (autour de 2,8), ce qui entrave les occasions d’apprentissage. Si, avec le seuil de notation actuel (2,5), plus des trois quarts des RAP (77 %) sont d’un niveau satisfaisant (validations de 2016 et de 2017), seuls un peu plus de la moitié des RAP (52 %) sont jugées « entièrement » satisfaisants avec un seuil de notation à 3. La plupart des RAP sont préparés par des consultants. La majorité des chefs de projet interrogés reconnaissent que, pour des raisons de conflit d’intérêt, ils ne peuvent pas élaborer leurs propres RAP. Toutefois, si le recours à des consultants supervisés par les chefs de projet peut déboucher sur un examen un tant soit peu impartial, la franchise demeure un problème. De plus, les consultants ne suivent pas les mêmes normes qui posent des problèmes de comparabilité et de qualité. De manière générale, le personnel accorde peu de priorité aux RAP, et la sélection des consultants ne fait pas l’objet d’un examen approfondi.

18. Les SPAE des ONS ne fournissent pas des avis systématiques, sous forme d’exemples de réussite ou d’échec, basés sur l’évaluation des actions visant à réaliser aussi bien des résultats en matière de développement que la rentabilité. Les enseignements tirés ne sont ni institutionnalisés ni documentés en vue d’une exploitation optimale. Les évaluations de haut niveau d’IDEV contribuent toutefois à tirer des enseignements et à produire des connaissances utiles à de nouvelles orientations stratégiques pour le développement du secteur privé et des ONS.

19. Les SPAE en eux-mêmes ne peuvent pas satisfaire l’ensemble des besoins de la Banque en matière d’apprentissage. L’acquisition de connaissances à travers les SPAE n’est pas suffisamment appuyée par d’autres sources de savoir telles que les évaluations d’impact, les évaluations thématiques, etc. Il convient de faire preuve de plus de créativité dans la diffusion et le partage, avec d’autres pays, d’enseignements tirés sur le même secteur ou sur des questions similaires. Contrairement aux recommandations contenues dans les directives sur les NERAP, il existe peu d’ateliers ou d’événements périodiques impliquant le personnel pertinent dans la collecte d’avis sur les constatations issues des RAP/NERSE. Si les documents SPAE ne reposent pas suffisamment sur des données probantes et si les événements ne sont pas perçus comme des occasions d’apprentissage appropriées (à partir de divers échecs et réussites), les mesures incitatives demeureront insuffisantes.

Recommandations (les conclusions ayant servi de base sont entre parenthèses)

1. Examiner le cadre de mesure des résultats et les cadres d'évaluation de la BAD tout au long du cycle de projet pour garantir (i) la cohérence interne dans l'ensemble du système de mesure et de communication des résultats de la BAD, du fonctionnement au niveau de l'entreprise, et (ii) qu'il existe une harmonisation entre souverain (OS) et opérations non souveraines (ONS). [1] (F.3; F11-12).

2. Examiner et réviser, en étroite collaboration avec IDEV, la méthodologie de notation RAP / RSE utilisée, y compris l'échelle de notation et les directives afin d'améliorer la fiabilité du système de notation pour toutes les opérations, et de mieux aligner OS et ONS (F. 2; F.4).

3. Renforcer la responsabilisation pour les produits SPAE en développant des indicateurs appropriés et en incorporant explicitement ces indicateurs dans les indicateurs clés de performance de la BAD, dans les accords de performance des VPs et des directeurs, et dans les discussions sur la performance du personnel. L'accent devrait être mis sur la livraison, la rapidité, la qualité, l'utilité et la proactivité; encourager la franchise en signalant et en abordant les problèmes émergents. (F.5; F.6; F.7; F.10; F.13).

4. Dans le contexte de l’excercice du « rightsizing »de la BAD, revoir les niveaux de dotation en personnel pour le S&E des OS et des ONS, ainsi que les activités d'assurance de la qualité afin de garantir que la fonction d'auto-évaluation dispose du personnel et des ressources nécessaires. (F.2; F.6; F.7).

5. Améliorer la conformité avec les exigences de rapport d'auto-évaluation de la Banque en clarifiant les rôles, les procédures, la fréquence et les exigences de rapport pour la supervision, le soutien à la mise en œuvre et l'achèvement. En outre, travailler avec IDEV sur un calendrier approprié et réaliste pour une validation RAP / RSE en temps opportun afin d'alimenter le rapport annuel formel sur l'efficacité du développement des interventions financées par la BAD. (F.2; F.4; F.8).

6. Améliorer l'apprentissage grâce aux SPAE en améliorant (i) la qualité et l'accessibilité des produits SPAE, et (ii) la compréhension et l'acceptation des SPAE par les gestionnaires de tâches comme des outils d'apprentissage plutôt que comme des outils de responsabilisation. (F.5; F.6; F.8; F.10; F.15 - F.19.

xiv

TABLEAU 1 : OUTILS D’ETABLISSEMENT DE RAPPORTS ET PERFORMANCE DES SPAE

Outils d’établissement de rapports

Produits Principaux problèmes Dans quelle mesure appuie-t-il le résultat obtenu ? Actions proposees

Projets du secteur public#

EER

Performance Responsabilité

Faible niveau de conformité, retards de soumission et problèmes de franchise. Redondance avec les BTOR et manque de différenciation pour des situations particulières (OAR, fragilité). Les responsables ne sont pas suffisamment tenus pour responsables de la qualité et de la fiabilité des EER : peu de validations et de discussions.

Faiblesse des outils d’identification de problèmes, de prise de mesures correctives et de gestion de la performance. Les faiblesses des EER se répercutent sur les RAP, les DSP, les RPPP et les DSIR. Insuffisance des outils de responsabilisation.

Actualiser et simplifier le format des EER afin de réduire les cas de redondance avec les BTOR, puis le différencier en fonction des divers types d’opérations et des circonstances de chaque pays. Faire de l’examen minutieux des EER par la Direction une condition à remplir pour le suivi de la conformité à travers le tableau de bord.

EMP

Performance Le niveau de conformité est faible et les examens à mi-parcours (EMP) ne sont utilisés que de manière occasionnelle pour la restructuration de projets, ce qui est perçu comme entraînant des coûts de transaction élevés.

L’outil est jugé adéquat, mais la mise en œuvre n’est pas satisfaisante.

Insérer l’EMP parmi les indicateurs du tableau de bord. Requiert un haut niveau de responsabilité de la Direction.

RAP Responsabilité Apprentissage

Faible mécanisme d’incitation en faveur de la franchise. Le système de notation n’est pas favorable à une évaluation efficace et fiable, ce qui crée des écarts avec la validation effectuée par IDEV. Occasionnellement utilisé comme un outil d’apprentissage, surtout en ce qui concerne le suivi des projets dans le même pays. Une concentration excessive sur les notations entrave les opportunités d’apprentissage. Interaction entre la responsabilité et l’acquisition de connaissances.

Mettre la performance d’un projet et celle du personnel sur un pied d’égalité crée des problèmes de franchise et réduit la responsabilité. Le potentiel de l’acquisition de connaissances n’est pas atteint, car les occasions de partage d’enseignements plus structurés sont très peu nombreuses.

Réformer le système de notation afin de prendre davantage en compte la réalité et améliorer les directives concernant la production des données d’appui plus robustes. Élaborer une approche d’apprentissage distincte en utilisant notamment les SPAE, mais en exploitant davantage de domaines et de produits adaptés, une banque d’informations et un environnement sûr.

ONS PSR


Faible niveau de conformité et redondance avec les ASR et les BTOR. Peu de discussions et de validation par la Direction.

Outil peu adéquat pour la gestion de la performance. Peu de conformité entraîne peu de responsabilité.

Rationaliser son usage, son format et son contenu par rapport à d’autres outils d’établissement de rapports (ASR, BTOR). Renforcer la visibilité des rapports sur la conformité.

ASR


Faible niveau de conformité et redondance avec les BTOR. Utilisation irrégulière des critères d’évaluation courants et des systèmes de notation pour divers documents. Non-validation systématique des notations d’OD.

Faible niveau d’évaluation des risques liés aux résultats en matière de développement. Peu de conformité entraîne peu de responsabilité.

Concevoir une évaluation plus précise et actionnable des risques liés aux résultats en matière de développement. Améliorer la responsabilité par un mécanisme de soumission de résultats harmonisé et de meilleure qualité.

RSE Responsabilité Apprentissage

Notations moins rigoureuses des RSE, avec d’importants retards dans la validation. Problème de conformité. Projets évalués selon des indicateurs non pris en compte dans le REP ou dans l’ADOA. Peu d’occasions d’apprentissage.

Le faible niveau de conformité et de franchise influe négativement sur la responsabilité et l’efficacité dans l’établissement de rapports. La performance financière l’emporte sur les résultats en matière de développement.

Une plus grande concordance des critères assortie de l’harmonisation des systèmes de notation au niveau des différents outils d’établissement de rapports. Renforcer la pertinence et l’utilité des enseignements tirés.

DSP/ RPPP

RA Responsabilité Apprentissage

La qualité des EER déteint sur celle des DSP/RPPP. Les rapports d’achèvement des DSP/RPPP ne sont pas validés par IDEV. Le poids des RPPP dans l’évaluation de la qualité des DSP est questionnable. Les DSP/RPPP sont examinés par le Conseil et sont plus susceptibles de faire l’objet de discussions et de sessions d’apprentissage.

Les seuils de responsabilité entre les DSP et les RPPP manquent de clarté. IDEV effectue des évaluations indépendantes qui facilitent la responsabilité et l’acquisition de connaissances. L’acquisition de connaissances est plus facile avec l’accent qui est actuellement mis sur le compte rendu descriptif plutôt que sur les notations.

Réviser la méthodologie utilisée pour les RPPP, ainsi que l’articulation avec les DSP. Tenir compte d’un plus grand nombre de DSP/RPPP validés par IDEV.

DSIR RA Responsabilité Apprentissage

La qualité des EER déteint sur celle des DSIR. Les rapports d’achèvements des DSIR ne sont pas validés par IDEV. Les DSIR sont examinés par le Conseil et sont plus susceptibles de faire l’objet de discussions et de sessions d’apprentissage.

IDEV effectue des évaluations indépendantes de DSIR qui facilitent la responsabilité et l’acquisition de connaissances, même si les méthodes utilisées ne sont pas en harmonie avec les RA.

Tenir compte d’un plus grand nombre de rapports d’achèvement de DSIR validés par IDEV.

1

I. CONTEXTE ET GENERALITES

1. Après l’adoption de sa Stratégie décennale 2013-2022, la Banque africaine de développement (BAD ou la Banque) a entrepris des changements majeurs : restructuration sur le plan organisationnel ; réformes politiques ; et ajustements d’ordre opérationnel et institutionnel. Il s’est agi notamment de :

• L’adoption, en 2015, des cinq domaines prioritaires (High 5)11 dans le cadre de la Stratégie décennale

(SD), ce qui a conduit à la mise en œuvre de stratégies appropriées pour chacun de ces domaines ;

• L’adoption du nouveau Modèle de développement et de prestation de services (DBDM) à l’appui des High 5 ; et une plus forte concentration sur la décentralisation, y compris la création de nouveaux pôles régionaux ;

• La création de structures telles que le Comité de prestation de services et de l’efficience des processus (DAPEC) et le Comité technique de l’assurance qualité (TQAC), en vue d’améliorer les processus opérationnels.

2. Les réformes institutionnelles en cours, qui sont appuyés par les engagements pris dans le cadre du FAD -14 pour améliorer la qualité de la conception et de la supervision de projets tout en renforçant la performance des opérations, offrent l’occasion d’évaluer les processus d’assurance qualité et d’examiner les voies et moyens de les optimiser en vue de promouvoir l’efficience, gérer les risques et donner plus de chances d’atteindre, de façon pérenne, les résultats en matière de développement.

3. IDEV a conduit une évaluation des processus de la Banque en matière d’assurance qualité, qui a complété le travail effectué par l’Équipe chargée de la gestion de la transformation (TMT) et DAPEC, dont l’objectif ultime est d’élargir le champ d’action de la chaîne de l’assurance qualité pour une contribution accrue à l’acquisition de connaissances et à l’impact sur le développement. Trois évaluations indépendantes ont été bouclées, à savoir :

• la qualité à l’entrée (QaE) ;

• la qualité de la supervision et à la sortie (QoS) ; et

• les systèmes et processus d’auto-évaluation (SPAE) – il s’agit de la présente évaluation.

4. En exploitant les synergies conceptuelles entre ces évaluations, IDEV a produit, en octobre 2018, un rapport « chapeau » qui examine la pertinence, l’efficience, l’efficacité et l’institutionnalisation des processus de la Banque en matière d’assurance qualité tout au long du cycle de projets ; ledit rapport comportait également une évaluation de la

conformité avec les conditions requises par la Banque en matière de sauvegardes E&S12.

5. De plus, IDEV a récemment produit d’autres évaluations, notamment :

• Independent Evaluation of the Integrated Safeguards System (2019) [Évaluation indépendante du système de sauvegardes intégré];

• Quality retrospective report: an assessment of the Bank’s quality assurance tools (2018);

• Comprehensive Evaluation of the Development Results of the AfDB Group (2016) [Évaluation globale des résultats en matière de développement du Groupe de la BAD];

• L’achèvement de la validation des RAP de 88 projets clôturés en 2017 et de 49 projets bouclés en 2016.

• L’évaluation indépendante du cadre d’évaluation de l’additionnalité et des résultats en matière de développement (ADOA) de la Banque (2014).

6. Sur la base des données disponibles issues des évaluations et de l’étude diagnostique (2018) de la Direction elle-même, cette dernière a préparé un Plan d’action pour la mise en œuvre de l’assurance qualité (2019) aussi bien pour les opérations du secteur public que pour les opérations non souveraines ; ce plan jette les bases d’une réforme des SPAE reposant sur la présente évaluation.

11 Les High 5 sont : i) Éclairer et électrifier l’Afrique, ii) Nourrir l’Afrique, iii) Industrialiser l’Afrique, iv) Intégrer l’Afrique, et v) améliorer la

qualité de vie des populations africaines. 12 Evaluation of Quality Assurance across the project cycle of the AfDB (2012-2017) (2018).

2

II. FINALITE, OBJECTIFS ET CHAMP D’APPLICATION

A. Finalité

7. La définition et la vue d’ensemble des systèmes et processus d’auto-évaluation (SPAE) sont brièvement présentées dans l’encadré 1. L’évaluation des SPAE s’appuie sur un ensemble d’évaluations déjà conduites et exploite les données évaluatives concernant la supervision et la qualité à la sortie, en vue d’examiner le mode d’application des processus d’auto-évaluation et leurs chances de contribuer à l’obtention de meilleurs résultats.

8. La Banque conduit aussi bien des évaluations indépendantes (cette mission est dévolue à IDEV) que l’auto-évaluation des systèmes et processus (ce qui incombe à la Direction de l’institution). Les deux types d’évaluation sont interdépendants. Les systèmes et processus concernés permettent à la Banque de rendre compte de ses efforts d’investissement, d’évaluer la qualité de son portefeuille, d’améliorer sa performance, de satisfaire aux exigences en matière d’établissement de rapports, d’apprendre des expériences opérationnelles et d’évoluer vers une meilleure présentation des résultats obtenus.

9. Les SPAE sont définis dans divers documents de la BAD, notamment :

• le Manuel opérationnel (MO), qui a été conçu en 1993, révisé en 1999 et, plus récemment, en 2014. il est à nouveau en cours de révision ;

• la Matrice de délégation des pouvoirs (DAM) et les directives présidentielles pertinentes ;

• le cadre d’évaluation de l’additionnalité et des résultats en matière de développement (ADOA) pour les opérations non souveraines de la Banque ; et

• le Cadre de mesure des résultats (RMF) à quatre niveaux.

10. La présente évaluation vise à apporter un appui à la Direction et au personnel opérationnel de la BAD à travers ses conclusions et recommandations en vue de :

• améliorer l’auto-évaluation et la performance des opérations et des stratégies pays et régionales ;

• améliorer la pertinence et la qualité du Manuel opérationnel de la Banque, en vue d’une fonction accrue des SPAE ;

• accroître l’efficacité des opérations et des outils de responsabilisation et d’apprentissage ;

• appuyer l’application du nouveau DBDM et de l’ingénierie des processus ;

• informer le Conseil et d’autres parties prenantes non seulement du fonctionnement des SPAE, mais également des éventuelles actions mélioratives.

B. Objectifs

11. L’évaluation des SPAE vise essentiellement à :

• évaluer la performance des SPAE en se focalisant sur leur pertinence, leur efficacité et leur efficience, et en servant trois objectifs majeurs, à savoir améliorer la performance, accroître la responsabilité et promouvoir l’acquisition de connaissances ;

• identifier et évaluer les catalyseurs et les barrières à l’application et aux résultats des SPAE ;

• Tirer des enseignements et des bonnes pratiques, et formuler des recommandations afin de permettre à la Banque d’améliorer la qualité et la performance de ses SPAE (de la conception aux résultats en passant par la portée et l’application).

Encadré 1 : Définition et vue d’ensemble ➢ Par auto-évaluation, on entend l’évaluation d’un

projet, d’un programme pays ou régional, ou une revue sectorielle, thématique ou de politique effectuée par l’entité impliquée.

➢ Comme indiqué dans la théorie du changement, le système est censé appuyer trois résultats principaux : o La performance ; o La responsabilité ; et o L’apprentissage.

➢ Trois volets essentiels font l’objet d’évaluation : o La pertinence ; o L’efficacité ; et o l’efficience.

➢ Les trois principaux outils utilisés sont : les rapports d’étape, les examens à mi-parcours et les rapports d’achèvement.

➢ L’auto-évaluation s’accompagne de la validation

de certains produits par IDEV : RAP/RSE,

évaluation indépendante des DSP et des DSIR,

etc.

3

12. La présente évaluation résout les problèmes concernant i) le cadre propice aux auto-évaluations ; ii) les outils et systèmes de collecte des données nécessaires à la conduite des auto-évaluations ; et iii) l’utilisation des données évaluatives à l’appui de la prise de décisions. Cette évaluation se veut dynamique et formule, à l’endroit de la Direction, un certain nombre de recommandations susceptibles d’améliorer la performance des outils, méthodes, indicateurs, processus et incitations les plus à même d’aider à instaurer la confiance envers les SPAE et à rendre leurs résultats crédibles.

C. Champ d’application

13. La présente évaluation examine la façon dont les SPAE et le système de notation sont mis en œuvre et appliqués au niveau des principaux produits suivants sur la période allant de l’approbation à l’achèvement (clôture) de projets.

• Projets du secteur public : Rapport sur l’état d’avancement de l’exécution (EER), examen à mi-parcours (EMP) et rapport d’achèvement de projet (RAP) ;

• Opérations non souveraines (ONS) : Rapport sur l’avancement de projet (PSR), rapport annuel de supervision (ASR) et rapport de supervision élargi (RSE) ;

• Programmes et stratégies pays : Rapport sur la performance du portefeuille pays (RPPP), examen à -mi-parcours, rapport d’achèvement sur les stratégies et programmes pays (RA-DSP) et rapport d’achèvement sur les stratégies et programmes régionaux intégrés (RA-DSIRE) ;

• Documents de politique/stratégie sectorielle ou thématique : Examen à mi-parcours et rapport d’achèvement (RA).

14. On peut établir une distinction sans équivoque entre les produits d’auto-évaluation obligatoires cités ci-dessus et les études d’évaluation facultatives, telles que les évaluations d’impact, les évaluations programmatiques périodiques et les études rétrospectives commandées par des unités opérationnelles individuelles. IDEV procède à la validation indépendante des RAP et des RSE ; il a également validé, sous forme d’exercice pilote, un DSP (Afrique du Sud) et un DSIR (Afrique de l’Ouest). Par ailleurs, il effectue des évaluations indépendantes de projets, de DSP (DSPE) et de DSIR (DSIRE), en cas de besoin de données évaluatives (par exemple, la révision d’une politique ou d’une stratégie désuète). Les validations et les évaluations indépendantes effectuées par IDEV contribuent considérablement à l’efficacité des SPAE, mais elles ne font pas l’objet de la présente évaluation.

15. Les principaux indicateurs contenus dans les informations fournies par les SPAE sont insérés dans les rapports et portails les plus importants de la Banque, pour des besoins de responsabilité institutionnelle. Il s’agit de :

• le Cadre de suivi des résultats et les rapports annuels sur l’impact sur le développement (ADER) ;

• les rapports sur le suivi de portefeuilles ; et

• les rapports d’étape concernant la mise en œuvre des stratégies, qui sont soumis au Conseil.

16. La présente évaluation couvre la période 2013-2018, qui représente une partie importante de l’étape de la mise en œuvre de la stratégie décennale (SD), de l’adoption des cinq domaines prioritaires (High 5) et des réformes visant à reconcevoir les processus et le DBDM. La publication du Manuel opérationnel actualisé en 2014 est intervenue à cette période, et les résultats de la présente évaluation devraient permettre de réviser la version de 2019 dudit manuel. En revanche, cette évaluation ne couvre pas le personnel, les opérations du Conseil, les fonctions de contrôle et les opérations de trésorerie de la Banque.

17. Le personnel de la Banque ‒ y compris les responsables ‒ et les membres du Conseil sont les premières cibles de la présente évaluation. Ce travail, qui peut intéresser également les organisations de référence, comprend une analyse comparative des pratiques en vigueur à la Banque asiatique de développement, au Fonds international de développement agricole et au sein du Groupe de la Banque mondiale.

18. S’agissant des limites de la présente évaluation, elles ont trait à la disponibilité des produits et documents SPAE, y compris les rapports de suivi et les notations, tel qu’enregistré dans le système de la Banque par les chefs de projet. Cela a été surtout le cas pour les données sur les ONS. Les informations sur le coût des SPAE étaient rares et ne pouvaient être obtenues que par des entretiens individuels, aucune donnée centralisée n’étant disponible ; l’analyse cout-efficacité en a pris un coup. De même, le faible taux de réponse obtenu (6 %) lors de l’enquête auprès du personnel a limité sa représentativité, de sorte que les résultats ne pouvaient être pris en compte qu’à titre indicatif, sous réserve d’une validation à partir d’autres sources.

4

III. METHODOLOGIE

A. Théorie du changement (TdC)

19. L’évaluation a été orientée par la politique d’évaluation de la Banque, les critères du Comité d’aide au développement (CAD) de l’OCDE et le Grand livre sur les normes régissant les bonnes pratiques d’évaluation du Groupe de coopération sur l’évaluation ; elle est axée sur une théorie du changement, qui est schématisée à la figure 1. La théorie du changement sur laquelle repose l’architecture de l’auto-évaluation obéit à la logique fondamentale selon laquelle un SPAE bien opérationnel peut :

• améliorer la gestion de la performance et la façon dont des informations et données fiables mises à disposition peuvent permettre à la Direction de prendre des décisions à temps ;

• renforcer la responsabilité et la façon dont la fourniture d’informations clés à divers niveaux (projet, programme, institutionnel) montre que la BAD s’adjuge la responsabilité de réaliser des résultats ; et

• améliorer l’acquisition de connaissances et la manière dont les SPAE peuvent se transformer en un outil de partage d’enseignements et d’adaptation permanente.

20. La présente évaluation a examiné les liens de causalité à partir des données introduites dans les SPAE (portefeuille à l’entrée, systèmes de S&E, processus commerciaux, signaux en provenance de la direction, cadre d’incitation et différents documents d’orientation), et la façon dont elles se répercutent sur la réalisation des produits, des résultats et des effets. Elle examine également les liens qui s’établissent entre les données de base et les résultats à travers la production d’un certain nombre de rapports (produits) lors de la supervision de projets et à la clôture. Ces rapports alimentent des mécanismes d’établissement de rapports qui sont plus importants au niveau institutionnel. D’autres liens entre les systèmes d’auto-évaluation et d’autres systèmes ont été également examinés afin de déterminer comment ils exercent une influence aussi bien sur la culture de réponse globale que sur le cadre d’incitation (les matrices de projet par exemple) ; le document revient par ailleurs sur l’articulation avec les propres évaluations indépendantes et les exercices de « validation » d’IDEV (NERAP et NERSE par exemple), les engagements pris au niveau institutionnel, le Manuel opérationnel et d’autres conditions.

21. Cette évaluation analyse l’interface entre les différents systèmes, les déficits de couverture, les chevauchements, la pertinence, la périodicité et l’environnement propice global, en s’appuyant également sur des données issues du rapport sur la QoS. En examinant les divers liens de causalité, l’évaluation a testé un certain nombre d’hypothèses en vue de prouver la robustesse et la fiabilité du système, tout en identifiant les maillons faibles qui pourraient être renforcés à travers des recommandations. Les principales hypothèses touchant aux différents niveaux de causalité dans la TdC englobent des aspects tels que :

• l’efficacité d’un cadre propice et les contraintes à l’auto-évaluation ;

• le cadre d’incitation qui s’impose et son mode d’influence sur les comportements des individus ;

• l’équilibre entre la conformité et l’obtention des résultats ;

• la production, l’utilisation et la pertinence adéquates du système de notation de projets ; et

• les coûts de transaction de la restructuration de projets, et l’aversion pour les risques liés aux mesures correctives.

5

Figure 1 : Processus et systèmes d’auto-é valuation – Théorie du changement

6

B. Questions de l’évaluation

22. La présente évaluation a répondu à la question de fond suivante : « Les systèmes et processus d’auto-évaluation (SPAE) soutiennent-ils la gestion de la performance, la responsabilité et

l’acquisition de connaissances au sein de la Banque ? » Les deux sous-questions liées à la principale question sont :

1. Comment les SPAE fonctionnent-ils ?

2. Dans quelle mesure les SPAE influent-ils sur l’obtention de bons résultats en matière de développement ?

Comme résumé dans le tableau 2 ci-après, ces questions/sous-questions sont formulées dans la matrice d’évaluation (annexe 2).

Tableau 2 : Matrice d’évaluation sommaire

Gestion de la performance Responsabilité Apprentissage

Pertinence Les outils et processus SPAE sont-ils indiqués

pour améliorer la performance

de projets/programmes pays ?

Les SPAE génèrent-ils des

informations

pertinentes et fiables

qui montrent que la

Banque se tient elle-

même responsable de la

réalisation des

résultats ?

Les SPAE sont-ils utilisés comme un

cadre fiable et pertinent

pour l’acquisition de

connaissances et

l’innovation ?

Efficience Les SPAE offrent-ils un cadre fiable,

opportun et efficace pour la gestion de

portefeuilles ?

Les SPAE offrent-ils un cadre fiable et

efficace pour

l’établissement de

rapports et la

responsabilité tant au

niveau interne

qu’externe ?

Les SPAE sont-ils appliqués comme un

outil d’apprentissage

efficace ?

Efficacité et

contribution à

l’impact

L’architecture des SPAE est-elle mise en

place comme un outil de

promotion de la performance

et de réalisation de résultats ?

Le degré de responsabilité exercé sur

l’application des SPAE

est-il favorable à la

réalisation de résultats ?

Les SPAE ont-ils contribué à

l’identification et à

l’usage des

enseignements tirés ?

Incitations et

contraintes

Les incitations existantes peuvent elles

favoriser des évaluations

franches et des mesures

correctives anticipées ?

Les incitations existantes peuvent-

elles favoriser l’exercice

d’un niveau de

responsabilité

convenable à la mise en

œuvre des SPAE ?

Le cadre d’incitation est-il tourné vers

l’usage des SPAE pour

l’acquisition de

connaissances

permanent et

l’innovation ?

C. Méthodes d’évaluation

23. Le cadre d’évaluation était structuré autour de trois composantes principales représentant la source d’information, tel qu’illustré à l’annexe 3 : i) la politique et les documents d’orientation de la Banque (High 5, DBDM, SD, Manuel opérationnel et directives opérationnelles) ; ii) les principaux rapports d’évaluation pertinents produits par IDEV (CEDR, QaE, QoS, NERAP, rapports de synthèse) ; et iii) les documents et sources de données indiqués ci-après, ainsi qu’une partie de l’activité de référencement (annexe 5).

24. La présente évaluation ne reprend pas le travail déjà abattu, mais se sert de la base de données existante pour mettre davantage l’accent sur la performance des SPAE eux-mêmes. Elle exploite les données et éléments probants pertinents qui ont été déjà collectés, tout en comblant les vides observés à l’aide de nouvelles données, selon les besoins précis des SPAE. Elle vient en appoint à l’évaluation QoS. Mais, contrairement à cette dernière, qui a examiné les différentes composantes de la supervision de projet (y compris du point de vue de l’Emprunteur), l’évaluation SPAE s’est concentrée sur les processus, instruments et mécanismes internes en vue de faire ressortir la façon dont l’application des SPAE a un impact sur la performance, la responsabilité et l’acquisition de connaissances. Certes, la performance de projets dépend en partie de celle des Emprunteurs, des partenaires, des acteurs locaux, mais les SPAE sont entièrement sous le contrôle de la Banque, qui jouit de l’autorité nécessaire pour adopter des recommandations.

25. Cette évaluation a également axé son analyse sur deux ensembles de validations de RAP effectuées par IDEV à travers des notes d’évaluation de RAP (NERAP) pour i) 49 projets du secteur public clôturés en 2016, et ii) 88 projets du

même secteur bouclés en 201713.

13 IDEV. Synthesis Report on the validation of the 2016 and 2017 Project Completion Reports (2019).

7

26. Une approche mixte a été adoptée sur le plan méthodologique, en s’appuyant sur divers instruments pour répondre à des questions d’évaluation précises. Les méthodes de collecte de données ont ciblé de multiples sources pour permettre la validation des informations recueillies. Les outils de collecte ont été les suivants (voir l’annexe 3 pour plus de détails) :

• La méta-analyse, qui comprend des revues de littérature et documentaires des évaluations de systèmes d’auto-évaluation conduites par d’autres BMD. Elle a permis d’examiner les questions courantes qui se posent au sein des BMD, y compris les facteurs exerçant une influence sur les résultats.

• Le référencement, qui a permis de comparer plusieurs composantes du système d’auto-évaluation dans les organisations de référence ou sœurs. Il sélectionne des leçons d’expérience et des bonnes pratiques à la Banque asiatique de développement, au FIDA et au Groupe de la Banque mondiale.

• Les études de cas, qui étaient articulées autour d’un échantillon de 12 projets du secteur public, 5 ONS, 3 DSP/RPPP et 3 DSIR. Un petit échantillon de projets achevés a été constitué afin de montrer plus en profondeur comment les SPAE sont actuellement appliqués lors de l’exécution de projets, de DSP et de DSIR. L’échantillonnage n’avait pas pour but de créer une base à partir de laquelle on ferait des déductions pour le reste du portefeuille, encore moins de servir comme outil prévisionnel, mais plutôt de compléter les données déjà disponibles et apporter plus de lumière sur l’efficacité dans l’application des SPAE en termes de

régularité et d’enchaînement des différents rapports14 et actions tout au long du cycle de projets, du point

de vue des chefs de projet. L’étude de cas concernant les DSP/DSIR est résumé à l’annexe 8 tandis que des documents de travail disponibles sur demande offrent une description détaillée des études de cas.

• Les entretiens semi-structurés, qui ont été réalisés auprès de 63 personnes, y compris les membres des bureaux des directeurs exécutifs, les cadres supérieurs et le reste du personnel de la Banque, praticiens et personnes-ressources maîtrisant les SPAE dans le complexe opérationnel pertinent. Les entretiens étaient articulés autour des trois principaux résultats sur la gestion de la performance, la responsabilité et l’acquisition de connaissances, qui ont été obtenus des SPAE.

• Une enquête auprès du personnel, qui a ciblé les membres du personnel directement ou indirectement impliqués dans la production ou l’utilisation des informations issues des SPAE. En raison du faible taux de réponse (6 %) – avec seulement 27 participants –, l’enquête n’a pas été suffisamment représentative pour permettre une extrapolation rigoureuse ; les résultats ont donc été validés à l’aide d’autres sources (enquête QoS auprès du personnel, entretiens avec le personnel, études documentaires). L’annexe 7 fait un résumé des résultats obtenus.

27. Les biais et conflits d’intérêt potentiels qui pouvaient s’observer dans le rôle d’IDEV ont été minimisés par l’utilisation de consultants externes, le rôle d’IDEV étant lui-même spécifié dans les SPAE. Sachant que son rôle pourrait façonner toute mesure incitative, IDEV veut atténuer tout souci d’objectivité, probablement en tirant parti de son interface avec l’auto-évaluation. La présente évaluation a examiné l’auto-évaluation effectuée le personnel opérationnel ; elle n’est pas une évaluation des validations ou des évaluations indépendantes conduites par IDEV.

IV. LES FACTEURS DE BASE DE L’AUTO-EVALUATION

A. La raison d’être de l’auto-évaluation

28. On peut améliorer son propre travail avec peu de compétences au lieu de reculer et de s’auto-évaluer en toute franchise. L’auto-évaluation permet de soulever des questions avant qu’elles ne deviennent trop évidentes pour être ignorées ou qu’il ne soit trop tard pour les résoudre. Les gens, par nature, sont généralement autosuffisants dans leur travail, surtout si la culture prédominante en milieu professionnel n’impose pas un minimum de responsabilité sur chacun sur la base de contre-pouvoirs. S’il y a des chances que l’autosatisfaction prédomine, les avis concernant le travail de soi pourrait être faussés et l’auto-évaluation affectée par une confiance excessive en soi.

29. Ignorer des problèmes implique qu’ils ne seront pas résolus. L’auto-évaluation est souvent confrontée à des pratiques profondément enracinées dans la « culture » de l’institution. Cette situation pourrait évoluer, mais pour ce faire, une révision du cadre d’incitation prédominant s’impose. Franchise n’est pas synonyme de négativisme : il s’agit de maintenir une dose d’esprit critique envers soi-même et d’accepter en toute objectivité des constatations telles qu’elles se présentent. Si l’on est mal à l’aise lorsqu’on tient des propos négatifs à l’endroit de son propre travail, les signaux venant de la Direction doivent montrer clairement que la performance d’un projet ne saurait être mise sur le même pied d’égalité que celle du personnel. Car les choses peuvent aller de travers pour diverses raisons. Il faut

14 Pour les projets du secteur public : REP, EER, EMP, DSP/RPPP, RAP, NERAP. Pour les ONS : REP, ADOA, PSR, RSE.

8

reconnaître la volonté du personnel de poser des problèmes, ce qui est le meilleur moyen d’enclencher la recherche de solutions et d’atteindre des résultats.

30. Le Groupe de coopération pour l’évaluation (GCE) a publié, en novembre 2018, une Note pratique – « Self-evaluation in ECG member institutions » [l’auto-évaluation au sein des institutions membres du GCE] (voir annexe 4) – dans laquelle il indique que si l’auto-évaluation doit être utile, elle doit faire partie intégrante de systèmes de « résultats » plus élargis et être utilisée par eux. Dans ce cas, les auto-évaluations doivent i) respecter des normes claires de qualité, de pertinence et de calendrier ; ii) être claires et bien intégrées à la politique d’évaluation globale, afin de garantir non seulement l’appropriation de la gestion, mais également les responsabilités envers des systèmes et processus ; iii) être visibles et largement accessibles ; iv) bénéficier de systèmes rigoureux et cohérents, mais permettant une application flexible.

31. Comme relevé dans la note du GCE, le recours à l’auto-évaluation en tant que principal outil d’évaluation offre des avantages majeurs tels que la rentabilité, mais la validation des conclusions doit être suffisamment rigoureuse. Une alternative à l’auto-évaluation pourrait consister à exercer des contrôles externes indépendants et à atténuer le risque de conflit d’intérêts. Cette option peut rehausser le niveau de confiance dans le système, même si elle peut avoir d’importantes implications sur le coût et mettre le CP sur la touche, lui qui maîtrise mieux les produits à évaluer. La plupart des BMD ont eu tendance à combiner l’auto-évaluation avec la validation indépendante dans des conditions de pleine concurrence, un moyen de préserver l’honnêteté du système (contre-pouvoirs).

32. Le fonctionnement des systèmes d’auto-évaluation est évalué sur la base de deux piliers essentiels : i) la conformité aux besoins d’établissement de rapports, afin de garantir le respect, par tous, des principaux paramètres et procédures courants, de manière à rendre les différents produits cohérents et comparables ; et ii) la franchise, qui assure la crédibilité des produits et la confiance envers eux, socle de l’amélioration de la performance du portefeuille et catalyseur de la responsabilité et de l’acquisition de connaissances.

B. Conformité

33. La variabilité de la conformité aux conditions d’établissement de rapports sur des projets au sein de la BAD révèle la faible régularité de l’application des procédures et processus, ainsi que le niveau d’exécution et de responsabilité. Le manque de conformité montre si le personnel et la direction prennent l’application des SPAE au sérieux. Si le niveau de conformité est faible et ne permet pas de produire des rapports et des produits demandés, alors les SPAE laminent leur fondation et perdent en crédibilité. Cette situation a des répercussions sur la qualité des indicateurs clés de performance qui sont soumis au Conseil et introduits dans le portail de la Direction.

34. De même, si la conformité est traitée sans tenir compte des objectifs globaux du SPAE, elle devient un exercice visant à « nourrir celui qui nourrit », dont le principal objectif est de s’assurer que les bonnes cases sont cochées et qu’aucun fanion n’est brandi par le système. Pour que la conformité soit effective, les mécanismes de responsabilisation doivent fonctionner de deux manières. D’abord, ils doivent assurer la production réelle des produits demandés selon les normes établies. Ensuite, tout ce qui est produit devrait renforcer la capacité de la Banque à améliorer sa performance, garantir des mécanismes d’établissement de rapports fiables et promouvoir l’acquisition de connaissances.

35. Selon les membres du personnel interrogés, la conformité peut être améliorée par i) une plus grande dose de responsabilisation de la part des cadres supérieurs (par exemple, leurs commentaires lors de la révision des EER) ; ii) une simplification et une plus grande flexibilité et adaptation des normes d’établissement de rapports (par exemple, attendre des résultats dans les premières années d’exécution d’un projet est irréaliste) ; et iii) un encadrement et une formation accrus.

Projets du secteur public

36. La conformité de l’EER fait particulièrement défaut. Les conclusions de l’évaluation de la QoS (encadré 2) ont corroboré cette situation. Il faut noter que les systèmes EER et RAP ont été introduits au même moment et sont devenus obligatoires dès le 1er janvier 2013 pour tous les projets du secteur public approuvés depuis le 1er janvier 2011. Pour les projets approuvés avant 2011, le recours au EER était facultatif et les notations pouvaient continuer d’être enregistrées dans le SAP comme par le passé.

37. Comme indiqué dans le Rapport rétrospectif sur la qualité (2018) publié par SNOQ, il existe des disparités entre les notations réelles et les notations basées sur l’application adéquate de la méthodologie. La couverture des EER serait de 64 % ; pourtant, seuls 32 % des EER et 37 % des RAP suivent la méthodologie de notation correcte, d’où un faible niveau de confiance dans les notations de projet à la sortie. Les carences suivantes ont été constatées : i) 41 % des EER évalués

9

manquaient de notation ; ii) dans de nombreux cas, la justification de la notation n’existait pas, et 15 % des rapports avaient fourni des justifications en contradiction avec les notations elles-mêmes ; iii) 30 % des projets n’avaient pas de données de référence, ce qui travestit les résultats produits ; iv) seulement 64 % des EER étaient enregistrés dans les délais, tandis que seuls 59 % avaient été approuvés à temps par la Direction ; et v) la qualité des EER n’était pas vérifiée par les cadres hiérarchiques, et seuls 3 % des EER comportaient les commentaires et la signature du responsable.

38. Les problèmes de conformité ont été également examinés à travers un échantillonnage supplémentaire de 12 projets du secteur public et 5 ONS, avec des entretiens avec les chefs de projet et les chargés d’investissement concernés. Sur les 12 projets du secteur public examinés, quatre avaient été approuvés après 2011, ne disposaient pas d’EER et n’avaient aucune notation enregistrée dans le SAP. Par conséquent, il n’a pas été possible d’analyser et de comprendre en profondeur dans quelle mesure la notation d’un projet peut devenir un outil pertinent pour soulever des questions et enclencher des actions correctives et de suivi.

39. Les conditions de production des EER sont décrites en détail dans le Manuel opérationnel de 2014. La soumission tardive des EER semble en partie due à quelques cas de redondance et de chevauchement entre le contenu des EER et celui des aide-mémoires et des BTOR (le rapport QoS l’avait déjà indiqué). En général, l’aide-mémoire est considéré par le personnel comme un document clé entre lui et l’Emprunteur, et le BTOR comme un outil essentiel entre lui et la Direction. Si les EER sont aussi peu utilisés et ne sont pas enregistrés dans le système, cela signifie que la capacité des notations à devenir un outil clé de gestion de la performance est mise à mal. La plupart des membres du personnel ayant participé à l’enquête font remarquer un certain degré de fusion entre les BTOR et les EER, puisque les deux ciblent

un public interne et comportent la majorité des cas de double emploi15.

40. Les examens à mi-parcours (EMP) peuvent servir à corriger le tir en cours de chemin de façon plus marquée et plus ciblée que les EER. Les normes en matière d’EMP à respecter sont décrites dans le Manuel opérationnel et sont souvent insérées dans des rapports d’évaluation de projet et des documents juridiques, qui constituent de solides instruments de mise en application. Les EMP constituent le principal point de départ de la discussion sur la restructuration ou les solutions avec l’Emprunteur et la Direction. En principe, les EMP sont obligatoires, mais dans les faits, ce sont les chefs de projet qui décident s’ils sont nécessaires ou non. Sur les 52 projets retenus pour l’évaluation de la QoS qui avaient besoin d’un EMP, seuls 19 (3 %) en ont bénéficié. Sur les 12 projets examinés dans le cadre de la présente évaluation, seuls deux avaient fait l’objet d’un EMP. Respecter les exigences en matière de conformité dépend, entre autres, du niveau d’attention qu’affiche la Direction. Si la responsabilité est d’un faible niveau, le personnel est plus susceptible d’ignorer les règles qui lui conviennent le moins.

41. Concernant les RAP, l’évaluation conduite par la Direction elle-même fait ressortir un taux de conformité d’à peu près 85 à 90 % sur la période 2015-2017. Le niveau de conformité est élevé dans ce cas précis parce qu’IDEV procède à la validation de tous les RAP, insère ses propres notations dans les NERAP et soumet un rapport de synthèse au Conseil pour information. La préparation opportune des RAP est également un indicateur clé de performance sur le tableau de bord de la Direction. L’évaluation de la QoS avait également analysé la conformité, et ses principales constatations (voir encadré 2) demeurent pertinentes pour les SPAE.

15 Les organismes retenues à des fins de comparaison sont confrontés aux mêmes situations, et si les EER sont généralement

considérés comme les principaux instruments d’établissement de rapports, le recours aux BTOR est laissé à la discrétion de la Direction.

Encadré 2 : Constatations de l’évaluation de la QoS concernant la conformité (sur la base de 83 projets du secteur public)

• 48 % des projets du secteur public examinés avaient fait l’objet d’une mission de démarrage.

• 26 % des projets n’avaient bénéficié d’aucune mission de supervision en 2017.

• 100 % des projets problématiques du secteur privé ont été supervisés au moins une fois par an en 2017.

• La soumission des EER a accusé un retard de 25 jours en moyenne sur un plafond recommandé de 30 jours.

• Les EER n’avaient pas de taux d’achèvement, mais 358 EER ont été tirés de 83 projets sur une période de 6 ans. À titre de comparaison, environ 1000 EER devaient être produits si les projets étaient supervisés deux fois par an.

• Selon l’analyse quantitative, 60 % des échantillons d’EER ont été évalués et approuvés par le directeur sectoriel.

• 15 % des projets examinés ont respecté la méthodologie de classification de projets et 28 % ont obtenu une notation EER crédible.

• Sur les 83 projets évalués, 52 étaient éligibles pour un EMP ; 19 EMP étaient disponibles.

• 44 % des RAP attendus en 2017 ont été soumis avec un retard.

10

Opérations non souveraines

42. S’agissant des ONS, il a été difficile d’évaluer la conformité, car non seulement peu d’informations étaient disponibles, mais également la performance du portefeuille d’ONS ne fait pas partie du système d’assurance qualité et de résultats de la Banque. L’établissement de rapports sur la performance des ONS n’est pas un indicateur clé de performance de niveau 3 dans le RMF. Le programme de supervision est défini chaque année en fonction du type d’ONS (prêts institutionnels, prêts d’appui aux projets, institutions financières, investissements directs, investissements privés avec prise de participation, etc.). Une mission de supervision peut couvrir des opérations multiples. Le programme de supervision de 2018 comprenait 161 projets (pour un portefeuille d’environ 300 opérations). Parmi ces projets, 65 % n’avaient pas de RAP, 20 % ne disposaient d’aucun ASR/BTOR et 17 manquaient les deux types de rapport. Malgré les conditions requises par la Banque (deux supervisions annuelles pour chaque projet), PINS est en train d’établir un cadre de supervision pour le portefeuille de dettes et de participations, y compris un système d’alerte rapide pour stimuler les activités de supervision et de suivi d’ONS.

43. L’examen annuel du portefeuille 2018 indique un taux de conformité des BTOR/ASR et des DSP respectivement de 84 % et de 43 % du portefeuille actif, celui des RSE (achevés c. prévus) s’établissant à 58 %. PINS rapporte le nombre total des BTOR et des ASR comme s’ils pouvaient se substituer aux produits SPAE. Comme le montre le Rapport semestriel sur le portefeuille d’ONS (2018), le nombre de transactions enregistrées dans le portefeuille d’ONS évolue sensiblement ; par conséquent, il convient de renforcer la capacité de gestion et de suivi du portefeuille de projets au niveau du département chargé des ONS, notamment en le dotant de personnel et d’outils supplémentaires, le ratio projet/personnel étant de loin supérieur à celui des institutions pairs. De même, même si tous les RSE devraient être en principe validés, en pratique, beaucoup de retards ont été accusés, car la dernière NERSE remonte à 2014.

Autres facteurs

44. Quelques facteurs additionnels méritent d’être étudiés pour cerner les questions de conformité. Comme la Banque a beaucoup recruté ces dernières années, elle a perdu une partie de sa mémoire institutionnelle et les nouveaux chefs de projet ne disposent pas de tous ces outils et connaissances qui ne s’acquièrent qu’avec l’expérience. Selon l’enquête auprès du personnel qui a été réalisée dans le cadre de l’évaluation de la QoS, seuls 44 % du personnel ont bénéficié d’un appui et d’une formation suffisants en matière de supervision. De nombreux membres du personnel ne savent simplement pas comment les SPAE et les différentes procédures et pratiques fonctionnent. La décision de la Direction d’initier une Académie des opérations pourrait contribuer à résoudre ce problème.

45. Les CP n’ont pas les mêmes volumes de travail, ce qui peut expliquer pourquoi l’engouement pour les SPAE varie. Quelque 30 % des CP sondés dans le cadre de l’enquête QoS ont affirmé s’occuper de plus de cinq projets par an ; d’autres ont dit en avoir jusqu’à 10. Ce ratio évolue depuis des années, et la charge de travail des CP représente un sérieux risque pour la qualité de la supervision. En outre, le personnel donne davantage la priorité à la préparation de nouvelles opérations qu’à la supervision.

11

C. Franchise

46. La difficulté à effectuer une auto-évaluation en toute franchise est souvent reconnue par les membres du personnel et attribuée généralement à l’absence d’un mécanisme d’incitation approprié. Fort heureusement, ces types de mécanisme peuvent être améliorés de manière à envoyer de bons signaux qui influeront positivement sur le comportement du personnel.

47. Dans l’auto-évaluation, la franchise s’applique i) au compte rendu descriptif, ce qui suppose que le personnel est capable de soulever et de formuler des questions de manière à favoriser une discussion objective ; et ii) aux notations, qui sont quantitatives et renferment généralement l’activité dans une catégorie à un moment donné. En matière d’auto-évaluation, les comptes rendus descriptifs sont le plus souvent utilisés pour des documents de stratégie (DSIR, DSP) et des évaluations thématiques, les notations étant très souvent réservées aux projets (EER/PSR et RAP/RSE).

48. Les désaccords sont généralement plus difficiles à resoudre pour les notations que pour les comptes rendus descriptifs : par nature, les notations offrent peu de solutions de rechange et peu de marges de compromis, les discussions se limitant souvent au besoin de savoir si la performance est satisfaisante ou non. En revoyant à la baisse les notations attribuées par le personnel (dans les NERAP/NERSE), IDEV insinue le problème de franchise chez le personnel, ce que ce dernier réfute souvent en soutenant que les NERAP ne sont que des exercices documentaires qui ne tiennent pas compte de la réalité du terrain.


49. La comparaison du niveau satisfaisant des notations (3 ou plus) des objectifs de développement (OD) et des indicateurs d’efficience dans les RAP de 2016 et 2017 avec les NERAP a révélé des disparités importantes, ce qui pose le problème de franchise dans les notations de RAP (tableau 3). Toutefois, ces différences ont légèrement diminué entre 2016 et 2017. Des problèmes de franchise avaient déjà été signalés par l’évaluation de la QoS (encadré 3) : 55 % des membres du personnel interrogés n’étaient pas d’avis qu’en bénéficiant d’incitations, le personnel produirait des rapports exacts et des notations crédibles. Des études documentaires sur la QoS ont également montré que seulement 26 % des projets du secteur public évalués avaient entièrement comblé les attentes, s’agissant de la crédibilité de leurs notations. Comme indiqué dans le rapport rétrospectif de SNOQ, un bon nombre de RAP examinés n’ont pas fourni de justificatifs suffisants pour étayer les notations. Cela tient probablement au fait que les RAP reposent essentiellement sur des évaluations qualitatives et font davantage l’objet d’interprétations. Selon le même rapport, les notations de RAP ne peuvent pas être impartiales ou indépendantes si les CP ou les consultants travaillant sous leur supervision demeurent les auteurs du rapport d’achèvement. Il s’ensuit que les notations sont gonflées de manière injustifiée dans le rapport d’auto-évaluation.

Tableau 3 : Projets présentant des OD et des indicateurs d’efficience satisfaisants (3 ou plus)

Cohorte de 2016

(49

projets)

Cohorte de 2017

(88

projets)

OD

• RAP

• NERAP

88 %

53 %

91 %

63 %

Efficience

• RAP

• NERAP

65 %

41 %

57 %

43 %

Encadré 3 : La franchise: Faits saillants de la QoS

Projets du secteur public – Études documentaires

Opérations non souveraines – Études documentaires

____________ Nombre de membres du personnel interrogés lors de l’enquête QoS : 128 Codes des couleurs : Rouge – Pas du tout d’accord et Pas tout à fait d’accord. Vert : Entièrement d’accord et Partiellement d’accord.

Les études documentaires reposaient sur 44 projets du secteur public et

27 ONS. Les codes de couleurs évaluent dans quelle mesure les attentes

ont été satisfaites : Vert – entièrement ; Orange – partiellement ;

Rouge – insatisfait ; Blanc – sans objet).

45%55%

Enquête auprès du personnel: les incitations favorisent la production de rapports corrects et des notations …

15%

48%

22%

15%

Credibility in scoring for IP

12

50. D’autre part, les entretiens menés indiquent que les CP attribuent la plupart des disparités de notation à l’insuffisance de contexte et d’informations approfondies dans la validation d’IDEV. Par ailleurs, ils perçoivent les notations de projet comme le reflet de leur propre performance. Cela montre bien que les recommandations du Manuel opérationnel, selon lesquelles les notations doivent être attribuées de manière collégiale, n’ont pas été adoptées et que le CP en est, dans une large mesure, le seul responsable, lequel prend tout sur lui et a tendance à personnaliser l’évaluation.


51. La franchise semble plus difficile à prendre en compte pour les ONS que pour les projets du secteur public. L’absence de justificatifs et de données est récurrente. Les informations sont rares dans les PSRs, tandis que les BTOR renferment des doublons qui n’ont pas la même qualité. Les cinq ONS examinées dans le cadre de la présente évaluation ont toutes posé un problème de franchise (encadré 4). L’échantillon QoS de 27 ONS (encadré 3) montre que seuls 15 % des projets examinés ont comblé aux attentes par rapport à la franchise et que 70 % l’ont fait partiellement ou pas du tout.

52. Les PSRs n’ont pas inclus assez d’informations sur les questions E&S ou sur le

niveau d’application des mesures d’atténuation, ce qui ne facilite pas l’agrégation d’informations dans les ASR. On le voit bien à travers l’analyse des 56 opérations financières intermédiaires qui a été effectuée dans le cadre de l’évaluation du

SSI16. Les OD semblent être les données les moins crédibles, comme l’a relevé le rapport QoS. En particulier, les lignes de crédit (LdC) manquent de paramètres logiques pour mesurer et notifier les effets sur le développement, comme indiqué également dans l’évaluation des LdC17. Concernant les RSE, PINS collabore avec IDEV pour réviser les lignes directrices pertinentes, afin de garantir leur alignement sur les bonnes pratiques et leur harmonisation avec le cadre de résultats des projets du secteur public. Enfin, comme indiqué dans le plan d’action AQ concernant les ONS, une définition claire du processus est essentielle pour la conformité : il s’agit de déterminer la durée de la maturité des opérations et de planifier les RSE, en fonction de l’instrument ONS, le calendrier pouvant contribuer considérablement à obtenir des notations d’OD correctes.

D. Gestion des notations

53. Les notations offrent l’avantage d’être faciles à soumettre, à comparer, à agréger et à faire obtenir des moyennes. Elles peuvent contribuer à enclencher l’action et à évaluer l’atteinte des cibles à travers une attribution relativement bien définie. Le personnel estime que les notations représentent une menace, sont rigides et auraient pour but d’évaluer sa propre performance. De plus, elles ne sont pas suffisamment nuancées pour refléter les situations de la vie réelle. La note pratique du GCE de 2018 (annexe 4) constate que les systèmes d’auto-évaluation ont le choix de ne pas appliquer des notations dans certaines instances et devraient être suffisamment flexibles pour répondre aux besoins de la gestion et au jugement de l’évaluateur.


54. L’utilisation de simples moyennes de sous-notations et des volets (pertinence, efficience, efficacité et durabilité) pour déterminer la notation globale du projet dans le RAP est un élément de la méthodologie de notation de la Banque. Étant donné que ce processus produit des points décimaux, fourchettes sont ensuite utilisées comme des

16 IDEV Integrated Safeguard System (ISS) Technical Report on overall compliance of the African Development Bank Group operations

with the Integrated Safeguards System across the project cycle – Projet de rapport – Juin 2019. 17 IDEV. Do Lines of Credit Attain Their Development Objectives? An Evaluation Synthesis 2010-17 (2018). Ce rapport affirme qu’il

n’existe pas de données fiables concernant l’impact des LdC sur les bénéficiaires finaux en termes d’amélioration de la rentabilité et du nombre d’emplois. De même, il n’existe pas de données relatives à l’impact des LdC verts sur l’efficience énergétique et la

consommation d’énergie. La raison est que : i) les institutions financières (IF) ne collectent pas de données sur les effets des prêts qu’elles octroient ; ii) elles ne disposent d’aucun système d’information sur la gestion pour effectuer ce genre de mission ; et iii) les activités de supervision des IF lors du décaissement du crédit sont médiocres.

Encadré 4 : Principaux problèmes rencontrés lors de l’examen de

l’échantillon de 5 ONS

• Les indicateurs de résultats contenus dans le cadre logique des RAP

ainsi que les notations ADOA manquent souvent de précision

et de données de base. On note aussi une asymétrie fréquente

entre les objectifs et les indicateurs dans ces deux types de

document.

• Dans les RSE, les notations sont excessivement indulgentes, avec

parfois des projets évalués selon des indicateurs non inclus

dans le PAR ou l’ADOA.

• Les projets ont tendance à être notés « Satisfaisant » malgré des

défaillances évidentes dans la réalisation des résultats.

• La définition de la réussite économique manque de précision.

• L’analyse financière et économique est particulièrement défaillante.

• Les sauvegardes S&E ne bénéficient pas suffisamment d’attention

durant la supervision.

13

nombres entiers sur l’actuelle échelle à 4 points18 pour attribuer la notation finale. Par conséquent, l’actuelle définition

de notation « Insatisfaisant (I) » oscille entre 1,50 et 2,49, tandis que celle de « Satisfaisant (S) » est comprise entre 2,5 et 3,49 (encadré 5). Il est donc pertinent de vérifier si ces fourchettes peuvent avoir un impact sur l’évaluation globale en qualifiant de satisfaisant les projets qui n’obéissent pas à tous les critères de « Satisfaisant » (note de 3), ou plus précisément, ceux qui ont une note de 2,5 à 2,9. L’analyse montre que la proportion de projets qui se classent dans cette catégorie correspond à 18 % des RAP et à 41 % des NERAP. Une large proportion de projets sont donc jugés globalement satisfaisants même si seulement quelques volets ont été jugés satisfaisants.

55. Les RAP sont notés d’abord par le personnel et ensuite par IDEV à travers le processus de validation. Des divergences de vue apparaissent parfois, tout comme un « écart de

notation »19.La méthodologie de

notation actuelle, qui est axée sur des fourchettes de notation, peut produire un tableau différent, en fonction de la définition de « Satisfaisant ». Tel qu’illustré dans le tableau 4, si cette appréciation oscille entre 2,5 et plus, alors 97 % des projets sont considérés comme étant satisfaisants ou mieux dans les RAP, ce qui est un taux incroyablement élevé selon tous les standards comparables. Dans ce cas, l’écart avec IDEV est de 20 % dans le lot de 2016 et de 12 % dans celui de 2017. Si, toutefois, « Satisfaisant » était défini dans la fourchette de 3 et plus, les projets jugés satisfaisants ne seraient que de 76 % et de 82 %, respectivement pour les RAP de 2016 et ceux de 2017 ; et l’écart s’élargirait encore plus, soit 45 % et 35 % respectivement. Ces disparités importantes sont dues au grand nombre de projets qui se situent entre 2,5 et 2,9 sur

l’échelle et suscitent des questions sur la crédibilité du système20.

56. Parmi les organisations de référence, trois (GBM, IFC et FIDA) ne recourent ni à la méthodologie par calcul des moyennes, ni au système de notation par fourchette pour obtenir les notations finales ; elles utilisent plutôt une approche axée sur le jugement. Par exemple, la Banque mondiale utilise une « approche en arbre » avec un système en cascade de quatre notations (Élevé, Substantiel, Modeste et Marginal) qui est appliqué à chaque dimension pour obtenir une note globale de projet sur une échelle à six points (de « Très satisfaisant » à « Très insatisfaisant ») (voir annexe 5, tableau 17, sous GBM). La Banque interaméricaine de développement (BID) donne plus de poids à l’efficacité et ne permet pas que les projets dépourvus des volets « pertinence » et « efficacité » soient notés positivement. Il faut faire attention en comparant la performance de la BAD à celle de l’une des institutions de référence qui n’emploie pas la méthodologie axée sur des fourchettes, la notation avec plafond pour une performance satisfaisante n’étant pas la même.

57. La structure des notations peut avoir un effet important sur l’incitation en faveur de la franchise. Contrairement à d’autres organismes de référence (FIDA, GBM, BID) qui disposent d’une échelle de notation à six points, la Banque n’utilise qu’un système à quatre points. Il faut reconnaître qu’un système de notation à six points permet faire le point des situations qui se trouvent davantage entre S et I, telles que « partiellement » ou « modérément » S ou I. Cela pourrait satisfaire un nombre potentiellement élevé de projets qui ont inévitablement posé, lors de leur exécution, des problèmes imprévus qui n’ont pas pu être entièrement résolus à la supervision. L’examen de 137 RAP/NERAP révèle que le nombre de projets appartenant au groupe intermédiaire (entre 2,1 et 2,9) correspondait à 20 % pour les RAP et 57 % pour les NERAP (tableau 5). Dans ces circonstances, il est souvent difficile de loger la performance des projets dans la catégorie S ou I. Le choix entre S et I étant radical, le personnel aurait tendance à se tourner vers une notation plus positive, tandis qu’IDEV préférerait une notation plus faible, ce qui créerait les conditions d’une énorme divergence. Selon le choix des mots, les écarts de

18 L’échelle se présente comme suit : 4- Très satisfaisant (TS) ; 3- Satisfaisant (S) ; 2- Insatisfaisant (I) ; et 1- Très insatisfaisant (TI). 19 L’« écart net » est la différence entre le nombre de cas auxquels IDEV attribue une note plus élevée (revue à la hausse) et le nombre

de cas auxquels il attribue une note plus faible (revue à la baisse). 20 Le GBM s’est évertué, au cours des 10 à 15 dernières années, à faire dégringoler l’écart de 10-15 % à 2 %. Ce résultat est dû à une

cohérence totale de méthodes et de notations, à une visibilité publique forte et à l’impact créé par le Groupe d’évaluation indépendante (GEI) au fil des années. Au FIDA, l’écart est calculé différemment : c’est la différence entre la notation globale des RAP et celle des NERAP ; et il serait de -0,3, ce qui n’est pas comparable et tend à sous-estimer le problème.

Tableau 4 : Notation avec plafond et écart satisfaisants

2016 (# 49) 2017 (# 88)

RAP NERAP Écart RAP NERAP Écart

2,5 ou plus 98 % 78 % 20 % 97 % 85 % 12 %

3 ou plus 76 % 31 % 45 % 82 %

47 % 35 %

Tableau 5 : Nombre de projets dans les fourchettes de notation (sur 137)

Fourchette

de notation

2,1 - 2,9

Fourchette

de notation

2,5 - 2,9

RAP 28 (20 %) 25 (18 %)

NERAP 78 (57 %) 56 (41 %)

14

notation entre la moitié supérieure et la moitié inférieure de l’échelle peuvent également s’avérer plus réduits, même

sur une échelle à quatre points21.

58. La notation de l’OD est extraite du dernier EER pour être insérée dans le RAP en vue d’évaluer les progrès réalisés :

• Très insatisfaisant (4) : les résultats et les produits sont très satisfaisants.

• Satisfaisant (3) : les résultats et les produits sont au moins satisfaisants.

• Insatisfaisant (2) : les résultats ou les produits sont insatisfaisants.

• Très insatisfaisant (1) : les résultats ou les produits sont très insatisfaisants.

En réalité, la majorité des RAP examinés présente un tableau mitigé de produits et de résultats, mais le chef de projet se penche généralement vers la notation satisfaisante même si le projet n’a pas comblé les attentes et respecté les spécifications de la définition de « Satisfaisant ».

59. Une analyse des avantages et des inconvénients de l’échelle à quatre points par rapport à celle à six points a

été effectuée par IDEV dans le cadre des DSP22. Le principal avantage du système à six points est qu’il permet d’atténuer

l’écart radical entre S et I, qui est souvent jugé trop grand, de l’avis des membres du personnel sondés. Toutefois, même ce système de notation aura tendance à loger la performance de la plupart des interventions dans les catégories « Modérément satisfaisant » ou « Essentiellement satisfaisant », lesquelles seront finalement agrégées avec la catégorie « Satisfaisant » et celles supérieures, puisqu’elles se positionneront « au-dessus de la barre ». Les cas du FIDA et de la Banque mondiale le démontrent clairement. Les commentaires recueillis par le Groupe de référence en évaluation (GRE) de la Banque ont suggéré une simple échelle à trois points (« Oui », « Non », « Dans une certaine mesure »). Selon ce groupe, plus il y a de points, plus il est complexe et difficile d’évaluer convenablement une performance. Une échelle à

21 Comparer, par exemple, « satisfaisant » c. « insatisfaisant » de la BAD avec « substantiel » c. « modéré » de la Banque mondiale, « satisfaisant » c. « moins satisfaisant » de la BAsD ou « satisfaisant » c. « partiellement insatisfaisant » de l’IFC.

22 IDEV. Strengthening Country Strategy and Program Evaluations (2017).

Encadré 5 : Les conséquences non voulues du système de notation

Le RAP note 11 critères sous quatre volets : i) la pertinence de l’opération de conception/approbation ; ii) l’efficacité dans la réalisation effective des résultats (OD) ; iii) l’efficience dans l’utilisation des ressources en vue de l’obtention des résultats ; et iv) la durabilité dans la poursuite des résultats après la période couverte par le projet. La performance de la Banque, de l’Emprunteur et d’autres parties prenantes est également évaluée, sans pour autant faire partie de la notation globale du RAP.

La note attribuée à chaque sous-volet est la moyenne des sous-critères, et la notation globale du projet est la moyenne des notes attribuées aux quatre volets. Tous les critères sont également pondérés. L’échelle de notation n’accepte que des nombres entiers, de 1 à 4, mais le calcul des moyennes produit inéluctablement des notes ayant des nombres décimaux. Par conséquent, pour mettre les notations en conformité avec l’échelle originale, le manuel de préparation des RAP définit des fourchettes : 1-1,49 (1 — Très insatisfaisant) ; 1,50-2,49 (2 — Insatisfaisant) ; 2,50-3,49 (3 — Satisfaisant) ; 3,50-4 (4 — Très satisfaisant).

La fourchette « Satisfaisant » (2,50-3,49) peut s’avérer problématique dans la mesure où les projets de la fourchette 2,50-2,99 seront finalement notés 3, même s’il existe par définition quelques points moins satisfaisants. Par exemple, si tous les volets d’un projet ont obtenu une note moyenne de 2,5, le projet pourrait être toujours jugé satisfaisant.

Les quatre volets n’ont pas la même importance dans l’évaluation de la réalisation des résultats. Leur pondération pourrait également avoir un impact sur ces résultats. La pertinence est très bien notée pour la plupart des projets, ce qui traduit la conformité aux stratégies de l’Emprunteur et de la Banque (88 RAP de projets clos en 2017 ont affiché une notation moyenne de 3,7 au titre de la pertinence). Cela a avantagé la moyenne globale. Avec le système axé sur le calcul des moyennes, la performance du projet pourrait demeurer « satisfaisante » même si celle de l’OD est « insatisfaisante ». L’OD, qui est incontestablement le critère le plus important en ce qui concerne la réalisation combinée de produits et de résultats, représente seulement un quart de la notation globale.

Dans d’autres BMD, l’efficacité est plus pondérée (par exemple, 40 % à la BID, contre 20 % pour d’autres dimensions, et 50 % pour les OAP, sans notation de l’efficience).

15

trois points serait toutefois contraire aux Normes de bonnes pratiques établies par le GRE des Banques multilatérales de développement dont la BAD.

60. En 2017, IDEV a écarté tout recours au système à six points pour adopter plutôt celui à quatre points, en vue d’évaluer, dans un exercice pilote de deux ans, des DSP (conformément à l’échelle de notation des projets du secteur public). Ce faisant, IDEV a perçu le risque que les évaluateurs lui accordent le bénéfice du doute et que la plupart des notations se retrouvent dans la fourchette « Satisfaisant » de l’échelle. Et dans ce cas, des tensions naîtraient entre IDEV et la Direction d’une part, et entre la Direction et le Conseil d’autre part, l’écart entre S et I pouvant être trop grand et entraîner une perte de granularité et porter préjudice à l’acquisition de connaissances. Deux ans plus tard, ces risques ont été confirmés. Les mêmes risques peuvent s’appliquer à la situation des RAP, à la seule différence que leur validation par IDEV a donné lieu à des écarts-types plus importants. Le rapport de synthèse de 2016 a indiqué que le système de notation actuelle, gradué de 1 à 4, ne permet pas d’obtenir des évaluations très nuancées.

61. Tout système de notation aura ses faiblesses, et quel que soit le nombre de points de notation (3, 4, 5 ou 6) retenu, il se peut qu’il n’apporte pas de changements significatifs, à moins que d’autres mesures soient prises pour améliorer la fiabilité du système et l’application de procédures plus rigoureuses pour la production des données probantes requises. Néanmoins, l’échelle de notation pourrait toujours faire l’objet de discussions plus approfondies, car selon la quasi-totalité des membres du personnel interrogés, il importe de réviser aussi bien l’échelle de notation que la méthodologie.

62. Le cadre de mesure des résultats (RMF) ne fait pas mention de l’écart, même si le « nombre d’opérations ayant reçu, de manière indépendante, une note satisfaisante ou mieux à l’achèvement » inclut désormais une cible. En général, un écart important montre que le système de S&E et les SPAE ont des problèmes et qu’il n’est pas indiqué d’être optimiste quant à la performance des projets évalués. Ce risque semble cependant ne pas représenter une incitation majeure pour que le personnel attribue des notes à des projets en toute franchise ; c’est probablement parce que les notes attribuées aux validations n’attirent pas beaucoup d’attention.

63. Selon la Note d’orientation sur les RAP, ce sont les notations des NERAP qui sont utilisées officiellement, et elles l’emportent sur celles des RAP en cas de divergences. Cette constatation est conforme à celle de la pratique en vigueur dans les institutions de référence. En réalité, ce n’est pas le cas, car les notations de RAP servent plutôt de

variables pour les notations officielles. Cela tient à la difficulté à obtenir des NERAP à temps23, en particulier lorsque les

processus d’établissement de rapports (rapports RMF et ADER, etc.) sont distincts et alimentés par les notations de projets. Cette situation implique également qu’en général, la performance du portefeuille peut présenter un tableau relativement plus positif que la réalité et être surestimée par la taille de l’écart. Par exemple, l’indicateur RMF sur les « opérations qui ont obtenu les résultats prévus en matière de développement » se sert de la notation de RAP. Depuis 2018, IDEV a réduit le nombre de RAP validés pour l’établir à 65 %, une proportion plus gérable, afin de contourner les contraintes de ressources et de temps lors de la documentation des rapports de la Banque.

64. Les indicateurs relatifs à la performance de la Banque et de l’Emprunteur révèlent un écart significatif en ce qui concerne les cohortes de 2016 et de 2017 des RAP validés par IDEV (tableau 6). Bien qu’ils ne soient pas pris en compte dans le calcul de la notation globale du projet, ces indicateurs souffrent généralement d’un problème de franchise. La raison est que la performance de la Banque le personnel est censé auto-évaluer est facilement mise sur le même pied d’égalité que celle du personnel lui-même et des clients de l’institution avec lesquels elle s’efforce de garder de bons rapports. Même dans des cas où la performance du projet s’est révélée clairement insatisfaisante ou pire, le personnel a attribué une note satisfaisante à la Banque. Sur les 137 RAP examinés, la performance de la Banque a été jugée insatisfaisante (moins de 2,5) deux fois seulement. Ce résultat contraste avec la validation d’IDEV, qui a jugé la performance de la Banque insatisfaisante dans 30 cas. Cet écart d’appréciation s’observe également pour la performance de l’Emprunteur : 22 RAP contre 45 NERAP.

23 Si le délai recommandé entre l’achèvement des RAP/RSE et la préparation des NERAP est de trois mois, le temps réel imparti s’est

avéré beaucoup plus long. Les validations des RAP de 2016 et de 2017 ont été combinées et finalisées en 2019.

Tableau 6 : Performance de la Banque et de l’Emprunteur (pour 137 projets)

RAP NERAP

Performance

insatisfaisante de la

Banque

1 % 22 %

Performance

insatisfaisante de

l’Emprunteur

16 % 33 %

16


65. Dans le cas des ONS, les dimensions de l’évaluation des PSR, des ASR et des RSE sont présentées au tableau 7. Les SPAE ne sont pas très indiqués pour utiliser les critères d’évaluation et les systèmes de notation courants pour ces différents documents, ce qui crée un manque de clarté dans le processus d’évaluation. En ce qui concerne les différentes dimensions et sous-dimensions, la fourchette des diverses notations varie de 1-4 à 1-5 et 1-6, en prenant en compte toutes les définitions. Les seules notations harmonisées sont celles des RSE et des NERSE.

66. Les directives de 2011 de la BAD pour la préparation des RSE sont désuètes, surtout en ce qui concerne la définition d’un processus de sélection des ONS. Les documents ASR et RSE sont faiblement corrélés, notamment pour ce qui est de la cohérence de la méthodologie d’évaluation et d’établissement de rapports sur la performance financière et l’impact sur le portefeuille sectoriel et institutionnel de la Banque. L’équipe chargée des RSE est en train de procéder, moyennant un bon nombre de notations d’OD et de l’additionnalité – et des comptes rendus descriptifs pour les principaux indicateurs de performance –, à une comparaison entre une évaluation ex ante (Conseil et ADOA) et une évaluation ex post (RSE). L’asymétrie observée dans l’utilisation de critères et notations ne facilite pas l’évaluation des résultats en matière de développement tout au long du cycle de projets. Par conséquent, l’auto-évaluation d’ONS n’est pas axée sur une méthodologie d’évaluation adéquate pour la performance, la responsabilité et l’acquisition de connaissances. La Direction s’engage à résoudre ces problèmes dans le cadre du récent Plan d’action sur l’assurance qualité en matière d’ONS (septembre 2019), notamment en révisant les lignes directrices et les modèles

d’ASR et de RSE24.

E. Mécanismes d’application et d’incitation pour assurer la conformité

67. Comprendre ce qui motive le comportement du personnel est essentiel pour un SPAE efficace. Une combinaison de l’application des mesures de conformité et des incitations permettra de déterminer la réponse du personnel. La meilleure manière d’y parvenir est de garantir la transparence et le caractère public de la conformité aux différentes exigences, à travers une base centrale de données informatiques accessible en temps réel. C’est ce qui manquait jusqu’ici à la Banque. L’équipe d’évaluation avait de la peine à accéder à des informations, et il lui était toujours difficile de savoir si les différentes données n’avaient tout simplement pas été produites ou si elles n’étaient pas facilement accessibles à travers le système. L’engagement de la Direction à déployer le Système de soumission de résultats (RRS), ainsi que le portail de prestation en cours, est une sage décision. En permettant que la Haute Direction soit automatiquement alertée (« en temps réel ») par des fanions, ce portail sert de système d’alerte rapide et d’outil de pression efficace, même s’il est actuellement davantage concentré sur les retards qu’accusent les décaissements, la passation de marchés et l’exécution de projets, plutôt que sur l’efficacité du développement.

68. La validation indépendante ou distanciée a un impact significatif sur les comportements et contribue considérablement à améliorer la franchise, mais aussi la crédibilité du système. En plus de la validation des rapports d’achèvement par IDEV, il est également possible d’établir des mécanismes internes. Les opérations du secteur public, à travers PINS (qui est détaché de son unité d’origine), sont en train de remplir une fonction de contrôle qui consiste à :

24 Les modèles d’ASR disposent désormais de nouvelles dimensions et d’une échelle de notation, pour une meilleure production de

rapports et une meilleure évaluation de l’état d’avancement de l’exécution. Il s’agit de : i) la conformité de projets aux engagements

pris ; ii) les systèmes et procédures applicables aux projets (gouvernance institutionnelle, gestion financière, fonctions de S&E) ; iii) l’exécution et le financement de projets ; et iv) le succès économique des projets (performance financière, rentabilité et contribution globale au cadre de l’activité).

Tableau 7 : Dimensions de l’évaluation des ONS

PSR

Avancement de

l’exécution

Viabilité

commerciale

Effets sur le développement et

additionnalité

ASR Performance

opérationnelle/fin

ancière

État d’avancement

de l’exécution

Résultat en

matière de

développement

Viabilité E&S Alerte rapide

RSE Résultat en

matière de

développement

• Succès

économique

du projet

• Viabilité

économique

• Effets E&S

• Développeme

nt du secteur privé

Résultat

attendu des

investissements

• Prise de

participation

• Prêt

Qualité du travail

de la BAD

• Sélection

, évaluation et

structuration

• Supervisi

on et

administration

Additionnalité de

la BAD

17

i) examiner et de consolider les données du portefeuille, y compris la préparation de RSE pour les projets placés sous sa responsabilité ; et ii) appuyer les projets exécutés au niveau décentralisé, en appliquant les directives d’IDEV et les conditions d’ADOA relatives à l’établissement de rapports. Ce processus sera facilité par la révision en cours du modèle RSE et des lignes directrices pertinentes. De même, les projets du secteur public ont récemment mis en place une nouvelle équipe pour chaque région couverte par à RDVP, dont la mission est d’appuyer la gestion efficace et l’achèvement de projets par un contrôle axé sur les résultats, et de soutenir la performance du portefeuille (en collaboration avec les chefs de bureau pays), les décaissements, les questions juridiques, la passation de marchés et d’autres fonctions. L’équipe assure également la mise à jour des plans d’exécution de projet en vue de l’obtention des livrables et des principaux indicateurs de performance.

69. Les audits internes jouent également un rôle majeur dans la combinaison des mécanismes d’application et d’incitation, ainsi que dans le maintien des fonctions de validation interne et externe, en échec face aux besoins de conformité. La mise à disposition des principaux indicateurs de performance est une mesure de contrôle essentielle pour la conformité et la performance.

70. Le cadre incitatif présente quelques faiblesses majeures qu’il convient de corriger afin d’influencer positivement les comportements : i) si la performance de projet est mise sur le même pied d’égalité que celle du personnel, la peur de détruire sa propre réputation en cas de mauvais résultats inhibera la franchise ; ii) les bonnes pratiques liées à l’application des SPAE et des systèmes de S&E, et aux mesures correctives anticipées, etc. ne sont pas suffisamment connues du grand public et récompensées – une telle reconnaissance pourrait envoyer un signal fort à la Direction afin qu’elle se penche véritablement sur les résultats fournis par le personnel (et ne se contente plus d’approuver des prêts) ; les budgets alloués aux SPAE semblent faibles par rapport à ce qui s’observe dans les

organisations sœurs 25; et iv) ainsi qu’il ressort de l’enquête auprès du personnel, il n’existe pas de discussion

systématique sur l’obtention des résultats lors de l’évaluation de la performance du personnel.

71. La combinaison réussie des mécanismes d’application et d’incitation devra être améliorée afin d’empêcher que les instruments utilisés desservent la réalisation des résultats attendus des SPAE. Une concentration excessive sur les notations peut amener le personnel à aborder l’auto-évaluation beaucoup plus du point de vue de la responsabilité, ce qui réduirait la capacité du SPAE à devenir un outil d’apprentissage. Si les notations sont attribuées à travers un prisme trop optimiste, la capacité du SPAE à devenir un outil de prise de mesures correctives pourrait en pâtir.

1. 25 L’analyse coût-efficacité des SPAE a été entravée par l’absence de données uniformes au niveau central. Les données ont été

essentiellement collectées au cours des entretiens. Contrairement aux organisations de référence (BID, GBM, IFC), la Banque n ’utilise

pas de normes budgétaires différenciées selon le contexte particulier, la complexité et la situation du portefeuille actif.

18

Figure 2 : Cadre d’incitation des SPAE

19

V. PRINCIPALES CARACTERISTIQUES DES SPAE ET RESULTATS

72. Le présent chapitre répond à la question de savoir si l’architecture et les instruments offerts par les SPAE sont, au regard de la manière dont ils sont mis en œuvre, suffisamment pertinents, efficaces et efficients pour améliorer la performance, la responsabilité et l’acquisition de connaissances. Il traite de cette question en s’appuyant sur les éléments clés nécessaires au bon fonctionnement des SPAE.

A. Gestion de la performance

Systèmes de suivi-évaluation (S&E)


73. Les systèmes de S&E constituent le pilier de tout système d’auto-évaluation ; mais ils en sont aussi son point le plus faible, comme l’indique le Rapport de synthèse de 2016 et de 2017 établi par IDEV. Il ressort de l’analyse des 49 NERAP de 2016 que 20 projets ne disposaient pas assez d’informations pour apprécier le S&E à l’exécution, et que 22 des 29 projets restants qui n’ont pas pu être notés ont été considérés comme étant insatisfaisants ou pire. La notation moyenne n’était que de 2,07 à la conception et de 2,02 à l’exécution. L’indicateur « genre » a obtenu la note de 1,97 seulement, et sur les 33 projets ayant bénéficié d’une note, 24 ont été jugés insatisfaisants ou pire. Les 88 NERAP de 2017 ont affiché 41 % d’évaluation satisfaisante pour le S&E, dans l’ensemble, avec une notation de 2,7 à la conception et 2,4 à l’exécution. Le critère « genre » n’a pas été noté ou a été jugé insatisfaisant dans 49 cas. Il est donc clair que la conception du S&E a besoin d’être améliorée, notamment en ce qui concerne le volet « genre ».

74. Avec des indicateurs actualisés (2016-2020), le cadre de S&E fournit des orientations opérationnelles pour l’établissement de rapports sur les questions climatiques au niveau des projets et des DSP/DSIR. Toutefois, la situation des sauvegardes E&S n’est pas révélée dans les rapports phares sur le portefeuille. Dans les SPAE, l’attention accordée aux questions E&S au cours de l’exécution de projets est moins soutenue que durant la conception. Ce résultat est corroboré par l’évaluation du SSI, qui présente la faible dotation en personnel comme l’obstacle le plus significatif à la mise en œuvre du SSI et soutient que le personnel actuel et les consultants de longue durée ne peuvent pas assurer efficacement la supervision de 50 % des projets à haut risque.

75. Des dysfonctionnements du système de S&E sont souvent signalés dès la phase de conception. La résolution de ces problèmes est souvent reportée, et du coup, ils deviennent généralement plus difficile à les résoudre lors de la supervision. D’ailleurs, de la phase de conception à l’exécution, les notations ne s’améliorent pas. On a également noté une absence de liens explicites entre les produits et les résultats, la faiblesse des cadres logiques, des retards lors de la soumission de rapports d’étape par l’Emprunteur, et des difficultés à recruter et à maintenir des experts en S&E. La Banque dispose de peu de spécialistes en S&E, et ses bureaux régionaux n’en ont pas du tout, ce qui entrave la fourniture effective des produits SPAE.

76. Les conclusions issues des cohortes de 2016 et de 2017 des NERAP ont fait ressortir des défaillances sous forme de déficits d’informations à l’appui des notations, ce qui illustre l’absence de mécanismes de contrôle de qualité. De nombreuses notations ont été revues à la baisse par IDEV non pas nécessairement parce qu’elles n’ont pas atteint leur objectif, mais plutôt parce que les données pouvant appuyer une évaluation particulière faisaient défaut. Cet avis concorde avec les constatations de l’étude documentaire sur la QoS (encadré 6), qui ont également affiché des résultats mitigés en ce qui concerne la performance globale du système de S&E et des cadres de suivi de résultats.

Encadré 6 : S&E de la QoS – Étude documentaire

Secteur public (sur 45 projets)

Secteur privé (sur un total de 27 projets)

_______________________________________ Les codes de couleurs évaluent dans quelle mesure les attentes ont

été satisfaites : vert – entièrement ; orange – partiellement ; rouge –

insatisfait ; blanc – sans objet).

50%

32%

16%2%

Results-based M&E and reporting

39%

36%

25%

Quality of results performance monitoring framework

4%

82%

7%7%

M&E Arrangements

20

77. Les problèmes de S&E ne sont pas nouveaux au sein de la Banque ; ils ont été également identifiés dans les organisations de référence. Les chefs de projet interrogés ont déclaré avoir déployé des efforts considérables pour établir et utiliser un système de S&E robuste, mais sans pouvoir bénéficier d’autres mesures qui auraient pu encourager les emprunteurs à s’en servir de manière appropriée. La faible capacité des emprunteurs à faire bon usage des systèmes de S&E ne permet pas aux chefs de projet d’utiliser toutes les informations disponibles pour préparer les EER. À la base, la qualité des données demeure préoccupante et a des répercussions sur la crédibilité de l’ensemble du système. Le suivi et l’évaluation de la performance ont souvent été un objectif insaisissable, surtout lorsqu’il est difficile de quantifier les indicateurs de résultats, ce qui rend l’évaluation plus arbitraire. S’il faut donner la priorité à la soumission de résultats, il importe que la Banque et l’Emprunteur prêtent une oreille attentive à l’intégration des cadres de référence,

des cadres logiques et des systèmes de S&E26.


78. Le Département du secteur privé utilise une approche de supervision d’ONS axée sur les risques, et les chargés de portefeuille et une équipe chargée du risque de crédit s’en servent pour suivre la performance du risque de crédit de projets. Dans l’ensemble, cette approche est jugée pertinente et s’aligne sur celle des organisations de référence. L’équipe de départ est toutefois peu engagée dans la supervision de projets, à en croire les membres du personnel des divisions chargées du secteur privé qui ont été interrogés. En général, une forte concentration sur la bancabilité d’un projet peut ne pas permettre d’accorder suffisamment d’attention aux effets dudit projet sur le développement.

79. Il a été difficile d’analyser les mécanismes de S&E et la couverture des questions clés lors de la supervision, en raison de la pénurie d’informations et de la faible disponibilité des PSP. La fourniture de données justifiant la mise en œuvre de projets et le lien de causalité entre les activités de projet et l’impact attendu s’est avérée incertaine en ce qui concerne les ONS (l’évaluation de la QoS l’a également constaté). Les rapports des clients sur les résultats en matière de développement ne sont pas évalués ou validés par les directeurs du portefeuille d’ONS, ce qui ne permet pas d’évaluer facilement leur crédibilité. Dans une certaine mesure, la nature des clients d’ONS les amène à se préoccuper davantage de la rentabilité financière que des objectifs de développement.

80. De même, il est difficile d’évaluer dans quelle mesure le rapport consolidé sur le portefeuille d’ONS a respecté ses engagements vis-à-vis des rapports annuels de suivi E&S, qui sont censés être préparés par les clients et doivent couvrir, entre autres, les critères environnementaux et sociaux, les indicateurs de contrôle sanitaire et sécuritaire, les programmes sociaux, les émissions de gaz à effet de serre et l’efficience énergétique. Les conclusions du rapport de suivi ne sont ni systématiquement respectées ni suffisamment diffusées à travers les PSR, les ASR et les RSE. Ainsi qu’il est indiqué également dans l’évaluation du SSI, l’évaluation S&E des projets du secteur privé n’évolue pas, malgré les efforts ponctuels qui ont été récemment consentis pour améliorer les modèles de certaines ONS. Les RSE ont cependant bénéficié d’une couverture d’informations E&S meilleure que les rapports de supervision examinés.

81. Le rapport consolidé de gestion et de suivi du portefeuille d’ONS, qui est préparé conjointement par plusieurs départements et PINS, se focalise essentiellement sur l’évaluation du risque financier, la valeur ajoutée aux recettes de la Banque et les retours sur investissement, sans intégrer une évaluation globale des résultats obtenus en matière de développement. L’étude diagnostique du système de résultats en place, qui a été récemment entreprise par IDEV, a révélé d’importantes carences dans le suivi des réalisations effectuées dans le secteur privé, y compris une incohérence potentielle entre les objectifs de développement fixés à la conception et ceux qui ont été suivis à la phase d’exécution. La moitié des projets du secteur financier qui ont été examinés (au nombre de 11) dans le cadre de l’évaluation de la QoS possédaient des rapports de supervision insatisfaisants, tandis que ceux des projets restants étaient partiellement satisfaisants. Pour relever ce défi, la Banque a lancé une nouvelle initiative pilotée par SNOQ et PINS, en vue d’harmoniser les normes d’établissement de rapports sur les résultats et de garantir la gestion anticipée des résultats

en matière de développement27.

26 Le GBM a également identifié des défaillances dans le système de S&E, ainsi que la faible capacité des systèmes de données tant

au niveau interne que chez les clients (pays). Le ‘Results Measurement and Evidence Stream (RMES)’ a été créé pour renforcer les

compétences en S&E, et la plupart des membres du personnel « dédiés aux résultats » ont été intégrés dans les Pratiques mondiales du centre. Le renforcement des capacités est également fourni par les centres régionaux d’apprentissage sur l’évaluation et les résultats (CLEAR). Cela pourrait stimuler la demande de compétences plus spécialisées en vue d’investir dans le S&E approprié .

Une initiative CLEAR similaire a également été lancée par le FIDA. 27 La Banque est en train de préparer de nouvelles directrices, de nouveaux modèles, ainsi qu’un nouveau processus d’évaluation de

ses actifs. Un système de compilation de portefeuilles de la Banque a été mis en place, faisant de PINS un « guichet unique » pour les données sur les projets, de la première étape jusqu’aux évaluations indépendantes (NERSE).

21

82. Concernant les lignes de crédit, le problème tient à une mauvaise définition de leur mode d’utilisation et de leur impact éventuel sur les OD. Comme indiqué dans l’évaluation des lignes de crédit, la principale mesure du succès est le décaissement opportun du sous-prêt et la rentabilité pour le prêteur. Mais l’efficacité des lignes de crédit au niveau du bénéficiaire final est souvent questionnable, car les critères d’évaluation font défaut et l’attribution des résultats en matière de développement aux LdC n’est pas aisée.

Poser des questions dans des délais raisonnables


83. Les chefs de projet devraient fournir des informations sur l’avancement de projets après une mission de supervision ou une étude documentaire dans un délai de 30 jours, à travers un EER qui est par la suite approuvé par le cadre hiérarchique. Les délais d’établissement de rapports après les missions de supervision sont cruciaux pour identifier rapidement les problèmes rencontrés et prendre des mesures correctives. La supervision de projet vise notamment à suivre et à résoudre les problèmes identifiés au cours des précédentes missions, en recourant aux SPAE.

84. Tous les points susmentionnés ont connu des défaillances : les délais de soumission d’EER après une mission étaient importants (55 jours en moyenne), et seuls 53 % des rapports de supervision ont été soumis à temps (contre un

objectif de 70 %)28. Dans le cadre de l’évaluation de la QoS, une analyse des missions de supervision effectuées pour

83 projets du secteur public entre 2013 et 2017 a montré que le proportion des EER soumis et non évalués a augmenté (de 20 % à 45 %). Il est également indiqué que 39,8 % des projets jugés problématiques sont restés « sous fanion » pendant longtemps (2015-2016). Le pourcentage sera de 49,7 % l’année suivante (2016-2017). Les entretiens menés dans le cadre de l’évaluation des SPAE ont montré que les EER sont peu fiables, car, de manière générale, ils sont automatiquement approuvés par le directeur, sans avoir fait l’objet de discussion avec le chef de projet, et avec un faible pourcentage de validation. Cela ne signifie pas que des problèmes n’ont pas été posés par d’autres moyens tels que les BTOR, mais il apparaît clairement que l’EER, en tant qu’outil des SPAE, ne joue pas son rôle.

85. Le recours limité aux EER et à leurs notations pour résoudre des problèmes et prendre des mesures correctives peut être considéré comme une occasion manquée dans la mesure où l’état d’avancement de l’exécution (EE) est un indicateur adéquat de la performance globale d’un projet. Le taux de corrélation entre l’EE et la notation globale de projet est de 0,67 pour la cohorte de 2016 des NERAP et de 0,61 pour celle de 2017. L’une des contributions attendues du système d’auto-évaluation à la performance du portefeuille et à l’obtention des résultats demeure la résolution à temps des problèmes d’exécution. En l’absence de notations fiables, comparables et opportunes, il est peu probable que la volonté d’agir sur elles soit très forte. Sur les 12 projets examinés dans le cadre de la présente évaluation, cinq n’ont obtenu de note ni dans le SAP, ni dans les EER (parmi ces projets, quatre avaient été approuvés après 2011, date d’introduction du système EER).

86. Les réponses des sondés dans le cadre de l’évaluation des SPAE ont révélé un déficit de contrôle de la qualité dans le processus d’établissement des rapports d’étape. Il est apparu que, si les équipes de supervision soulèvent des problèmes d’exécution importants dans des aide-mémoires et des BTOR, dans la plupart des cas, ces problèmes ne sont pas résolus de manière adéquate ou dans les délais. La tendance à éviter d’attribuer de faibles notes aux projets limite considérablement les occasions d’identifier des problèmes au moment où il convient de les résoudre, avant qu’ils ne s’enracinent et deviennent difficiles à régler. L’EER n’est pas considéré comme un outil de prise de décision : il est plutôt un outil de « mise en conformité » (une exigence administrative) avec peu de responsabilités, étant donné qu’il ne fait pas régulièrement l’objet de discussion et est systématiquement validé par la hiérarchie.

87. La qualité des notations d’EER est encore plus importante, car les notations de l’EE et de l’OD des derniers EER sont exportées dans le RAP. Les notations d’EER servent également à évaluer la performance du portefeuille à travers le RPPP, qui est une composante essentielle des DSP. D’ailleurs, la qualité des EER se reflète dans les DSP. En revanche, les EER ne sont pas adaptés pour les opérations basées sur les programmes, qui obéissent à un modèle économique différent et requièrent un format distinct (para. 133).

28 2017 Annual Quality Dashboard report [rapport annuel sur le tableau de bord de la qualité, 2017].

Encadré 7 : QoS – Action de suivi.

Étude documentaire

Secteur public Secteur privé

________________________________

Les codes de couleurs évaluent dans quelle mesure

les attentes ont été satisfaites : Vert – entièrement ;

Orange – partiellement ; Rouge – insatisfait ; Blanc

– sans objet).

45%

43%

10%2%

Follow up Action

22%

37%15%

26%

Follow-up actions and recommendations

22

88. À cet égard, le portail de prestation alerte bien plus rapidement que les EER et attire plus l’attention sur la gestion. Le portail sur le portefeuille introduit des fanions en fonction des indicateurs de performance vérifiables et peut classer des projets selon qu’il y ait un problème réel ou potentiel, même si les chefs de projet estiment que tout va bien. Si le portail n’enregistre pas les validations et le calendrier des, il permet cependant une évaluation de la fiabilité des notations. Il n’existe, pour l’heure, aucun indicateur clé de performance lié aux résultats qui pourrait enrichir le contenu du portail de prestation.

89. Les EMP sont considérés comme de meilleurs instruments d’ajustement de projet. Parmi les 13 projets problématiques qui ont fait l’objet d’un EMP (sur les 45 de l’échantillon retenu pour l’évaluation de la QoS), cinq ont eu une performance non revue à la hausse. Toutefois, seuls 40 % des projets du secteur public examinés ont présenté des preuves d’un suivi des recommandations des précédentes missions, contre 27 % d’ONS (encadré 7).


90. Parfois, les recommandations des missions de supervision ne sont pas suffisamment actionnables et sont vaguement formulées. La capacité de gestion et d’atténuation des risques est faible, surtout pour les lignes de crédit, la Banque ayant une influence limitée sur les institutions financières pour pouvoir améliorer la conformité et fournir des données pertinentes en vue de la réalisation des OD qui pourraient servir à enclencher des mesures correctives au besoin. Il y a une tendance à recourir au cadre des résultats ADOA pour prévoir les OD des années après le début du projet, quand bien même les données réelles concernant les OD devraient être disponibles, et pour ne rien changer sur la notation des PSR, sauf en cas de changement majeur. Il n’a pas été possible de justifier que l’exécution de projets concorde avec les cadres logiques décrits dans le REP et dans l’ADOA.

91. Un portail d’ONS est disponible. Il offre i) une répartition géographique du portefeuille actif, par instrument de financement et par secteur, et avec des indicateurs clés de performance tels que les prêts non productifs ; et ii) les notes moyennes pondérées du risque (NMPR). Le portail évalue la performance en ajoutant de la valeur aux recettes et aux retours sur investissement de la Banque, à ses arriérés et actifs non productifs, au profil de risque et à l’état de supervision annuel (sur la base des PSR effectués au cours de l’année). Il sert de système d’alerte par rapport aux NMPR, mais ne couvre pas d’autres aspects tels que les projets du secteur public.

92. La « Watch List » (liste de veille) des projets d’ONS29 est un outil supplémentaire pour identifier des

problèmes selon la situation du portefeuille sous : récupération/perte ; réhabilitation ; et contrôle actif. La liste de veille repose sur des critères financiers, mais sans aucune évaluation des risques liés aux résultats en matière de développement. Elle est placée sous la coordination de PINS, qui décide aussi bien sur les notations que sur le suivi étroit ou la gestion d’une ONS par l’Unité des opérations spéciales (SOU). Des connaissances et des services spécialisés sont fournis par SOU pour résoudre les problèmes touchant aux prêts non productifs, y compris à travers la restructuration, la rotation ou, dans certains cas, la recapitalisation d’entreprises non productives ou en difficulté.

Coûts de transaction pour la restructuration de projets

93. La nature des problèmes rencontrés contribue grandement à encourager les chefs de projet à les poser et à les résoudre, surtout si le projet doit subir une certaine forme de restructuration entraînant des coûts de transaction élevés. Les chefs de projet interrogés ont indiqué que l’identification des problèmes pouvait entraîner un surcroît de travail alors que la plupart d’entre eux sont déjà débordés. La restructuration formelle est rare, car non seulement le coût de transaction est perçu comme étant excessif, mais également l’emprunteur ne se projette pas toujours vers l’avenir, par peur d’aggraver le retard. Les sondés ont noté que les pays changent régulièrement leurs priorités, mais qu’en général, les projets ne sont pas restructurés pour refléter ces changements. De ce fait, la Banque ne peut pas continuer à honorer le contrat signé avec l’Emprunteur.

94. Les chefs de projet interrogés ont indiqué que des mesures correctives et une restructuration de projets seraient davantage anticipées s’ils bénéficiaient d’une structure d’appui, au lieu d’être laissés à leur propre sort. Les

29 Les projets sont placés sur la liste de veille pour diverses raisons : non-paiement du principal ou de l’intérêt dû ; baisse significative

des garanties offertes ; perte par l’emprunteur des résultats semestriels ou annuels, avec la preuve que ladite perte n’était pas due à des circonstances extraordinaires ; difficultés financières de l’emprunteur ; mauvaise diffusion de l’information ; problèmes de mauvaise gouvernance liés à la compétence en matière de gestion ; changements majeurs dans la gestion, surtout en ce qui concerne

les principaux décideurs, sans preuve de l’existence d’un plan de succession acceptable ; évolution négative du marché, direc tives gouvernementales ; procès ou menaces de faillite venant d’autres créanciers ; détérioration de l’environnement économique en général ou du secteur d’activité de la société.

23

chefs de projet sont généralement très tournés vers les clients et les projets et sont engagés à poursuivre les objectifs des projets, mais la Banque doit montrer, en soutenant l’Emprunteur, qu’il existe une institution derrière les chefs de projet. Des actions entreprises récemment vont dans ce sens : passage de la supervision de projet à « l’appui à l’exécution » ; nomination de chefs d’appui à l’exécution dans chaque région ; un plus grand accent mis sur la décentralisation.

95. La majorité des 12 projets du secteur public examinés dans le cadre de la présente évaluation ont révélé la nécessité d’une restructuration de projets à un certain degré. Les principales raisons évoquées ont été : les retards accusés dans la passation initiale de marchés et les décaissements, qui sont souvent dus à l’absence de préparation pour la mise en œuvre ; l’évolution des priorités du Gouvernement ou des conditions locales ; la faible capacité de la cellule d’exécution de projet (CEP) ; l’insuffisance des fonds de contrepartie ; la complexité ; et l’optimisme excessif. Dans la plupart des cas, les cibles ont été révisées lors de l’examen à mi-parcours (y compris des ajustements majeurs). Mais les projets n’ont, en aucun cas, fait l’objet d’une restructuration formelle à travers le Conseil. Les coûts de transaction élevés, le souci d’éviter des retards et la réticence de l’Emprunteur sont les raisons qui ont été avancées. On a également soutenu que le changement des cibles pourrait se faire sans modifier les objectifs, ce qui signifie que la restructuration formelle n’était pas nécessaire. Cette situation crée un problème de méthodologie au niveau d’IDEV : des cibles formellement approuvées doivent être utilisées pour procéder à la validation des RAP ; et en l’absence d’une restructuration formelle, elles demeurent les cibles d’évaluation, mais aussi une source de divergence.

96. De même, pour le cas des DSP/DSIR, il y a de la réticence à revenir, à mi-parcours, vers le Conseil pour modifier la cohérence et la pertinence des piliers stratégiques dans un environnement marqué par l’évolution des priorités. Tel qu’il apparaît dans les études de cas des DSP (annexe 8) ainsi que dans les entretiens, ce problème est désormais amplifié par le besoin d’alignement sur les priorités du High 5 et, possiblement, par celui de moderniser les stratégies existantes.

97. Les procédures de restructuration ne sont pas suffisamment flexibles et adaptées aux différents degrés de changements nécessaires, ce qui pourrait permettre également un alignement sur la méthodologie d’évaluation d’IDEV

applicable aux cibles révisées dans le cas où l’approbation d’IDEV ne s’impose pas. Les organismes de référence30 sont

confrontés à des préoccupations semblables. Si la Banque est déterminée à procéder plus rapidement à la conception

et à l’approbation de projets en dépit de la Directive présidentielle N° 2/201531, d’importantes activités de conception

(plans de passation de marchés, études de faisabilité, validation des évaluations environnementales et sociales – tel qu’indiqué dans l’évaluation du SSI –, mise en place des CEP et des cadres de référence, etc.) sont souvent menées à la hâte ou sont tout simplement reportées à la phase d’exécution, entraînant des retards dès le départ, encore plus d’inertie et plus de difficultés à résoudre les questions qui se posent. Les chefs de projet devraient se donner plus de moyens pour identifier et suivre des problèmes de manière anticipée, afin d’améliorer la performance de la mise en œuvre, y compris les possibilités de restructuration de projets, si nécessaire.

30 Au sein du GBM, l’évaluation SES a recommandé plus de flexibilité pour toute conception de projet qui minimise le besoin d’amender

les accords juridiques, y compris à travers les procédures de restructuration simplifiées de la Banque et des clients. Des corrections

devraient être apportées en chemin et aussi fréquemment que possible, en s’appuyant sur des données de suivi pertinentes et opportunes.

31 Cette directive s’applique à l’exécution, la conception et l’annulation de projets souverains et a cinq objectifs à atteindre : i) améliorer

la qualité à l’entrée des opérations en exigeant la réalisation anticipée des travaux préparatoires nécessaires (sauvegardes, passation de marchés, gestion de projets) ; ii) renforcer l’exécution et la gestion de projets ; iii) améliorer l’efficacité institutionnelle ; iv) réduire les délais d’approbation de projets ; et v) renforcer la transparence et la responsabilité.

Encadré 8 : Responsabilité – Résultats de l’enquête QoS (83 projets du

secteur public)

__________________________________________________

Codes des couleurs : Rouge – Pas du tout d’accord et Pas tout à fait

d’accord. Vert : Entièrement d’accord et Partiellement d’accord.

45%55%

EER validés par la Direction

24

B. Promotion de la responsabilité

98. L’une des questions auxquelles l’évaluation des SPAE a tenté de répondre est de savoir s’il existe une bonne dose de responsabilité pour permettre à l’architecture et aux différents instruments des SPAE de fonctionner de manière crédible et efficace, tout en prouvant que la Banque se tient pour responsable de l’obtention de résultats. À l’inverse, l’autre question est de savoir si l’architecture des SPAE a été mise en place en tant qu’outil de promotion de la responsabilité envers la Direction d’une part, et envers le Conseil d’autre part.

99. La responsabilité est souvent le meilleur moyen de réaliser une auto-évaluation franche, ce qui signifie qu’elle est demandée au niveau de la hiérarchie. Les procédures, orientations et règles sont bien en place et suffisamment claires. Les défis majeurs sont liés à la mise en œuvre et au niveau de responsabilité nécessaire au bon fonctionnement du système. Les membres du personnel interrogés dans le cadre de l’évaluation de la QoS ont évoqué un certain nombre de problèmes (encadré 8). D’emblée, il ressort que les mécanismes d’incitation doivent être examinés au niveau institutionnel. Les signaux en provenance de la Direction sont très importants à cet égard, surtout parce que la responsabilité et les incitations au sein de la Banque sont traditionnellement tournées vers l’accord de prêt et non vers la réalisation de résultats. Mais la situation est en train d’évoluer, et un certain nombre de mesures ont été prises dans le récent plan d’action pour l’application de l’assurance qualité (2019-2021), en vue d’un meilleur équilibre.

100. D’autres institutions de référence sont confrontées à des problèmes similaires, et on peut le comprendre, car leur personnel a un plus grand contrôle sur la conception de projets et en est plus responsable. Il est difficile d’atteindre des résultats à travers la conception et la supervision de projets. De nombreuses parties prenantes sont impliquées, surtout les gouvernements, et les choses peuvent aller de travers pour plusieurs raisons. Le personnel est parfois incapable de résoudre les problèmes qui se posent, et pourtant, il est bien peu enclin à admettre sa responsabilité envers des projets faiblement productifs.

101. En examinant les deux facettes de la responsabilité (interne et externe), il est important de noter que deux systèmes fonctionnent en parallèle et que les opérations contribuent peu à l’établissement de bons rapports entre les produits SPAE et les besoins du RMF. Les 17 chefs de projet et chargés de programmes pays (CPP) interrogés ont affirmé ne pas savoir grand-chose des conditions requises pour le RMF et de la façon dont les SPAE peuvent servir à ces fins. De même, un certain nombre d’indicateurs sectoriels de niveau 2 du RMF (les emplois créés, par exemple) sont nécessaires au niveau institutionnel et s’imposent aux opérations, bien que la fourniture des informations nécessaires par les systèmes de S&E soit incertaine.

Responsabilité interne


102. Pour qu’elle se déroule de manière adéquate, l’auto-évaluation conduite par le personnel a besoin de données d’appui fiables. Plusieurs facteurs influent sur le mode d’intervention de la responsabilité dans la mise en œuvre du SPAE :

• L’efficacité des systèmes de S&E et leur mode d’interaction avec les cadres de résultats sont au cœur de l’établissement de rapports crédibles et de la responsabilité. Comme indiqué précédemment, les résultats obtenus sont modestes à cet égard, des problèmes étant identifiés durant les phases de conception et d’exécution.

• Les notations et les problèmes sous-jacents sont peu examinés et explorés par la Direction lors de l’approbation des EER. Les entretiens avec le personnel ont confirmé que la supervision de projets ne bénéficie pas de l’attention ou du suivi nécessaires de la part des directeurs. La Direction valide souvent les EER de façon mécanique (quand c’est fait), puisque peu de temps est consacré aux EER comme aux BTOR.

• Les entretiens l’ont révélé et l’évaluation de la QoS l’a confirmé : le personnel est confronté à une forte rotation, mais à un faible niveau de transfert. Un projet peut être dirigé par trois ou quatre chefs tout au long de son cycle de vie. Cette situation peut interrompre la continuité, réduire les actions d’anticipation et diluer les responsabilités.

• La validation par un tiers est une partie importante du processus de responsabilisation, ce qui permet de préserver l’honnêteté du système. Cela peut se faire au niveau tant interne (IDEV) qu’externe (par une contre-expertise externe ou par une division distincte). L’enquête et les entretiens avec le personnel permettent de confirmer l’utilité des notations indépendantes.

25

103. La qualité des RAP est évaluée par IDEV dans les NERAP. La qualité du RAP souffre du même problème que la performance du projet concerné. Les résultats sont bons lorsqu’ils sont mesurés sur la base de la référence de notation de 2,5 (77 % au total en 2016 et 2017), selon la méthodologie « par fourchettes » ; mais ils sont modestes (52 %) si la référence de mesure est 3 (tableau 8). La question concernant la qualité des RAP peut également se refléter à travers une note moyenne qui s’établit à 2,67 en 2016 et 2,9 en 2017, révélant une importante marge de progression. Il convient de noter, toutefois, une amélioration sensible entre le lot de 2016 et celui de 2017 pour les notations de 3 et plus (de 30 % à 64 %), tandis que le calendrier a été moins respecté (de 77 % à 58 %). Selon l’examen de la composante « respect du calendrier » des RAP de 2018 que la Direction a effectué elle-même, ce pourcentage a progressé pour atteindre 85 % grâce à une action forte des équipes régionales qui a permis d’améliorer les délais d’achèvement. La majorité des membres du personnel interrogés estiment que les chefs de projet ne devraient pas produire leur propre RAP. Néanmoins, si le recours à des consultants supervisés par les chefs de projet peut déboucher sur des examens en pleine concurrence, le niveau de franchise ne progressera pas beaucoup. De plus, les consultants ne suivent pas les mêmes normes, ce qui pose des problèmes de comparabilité et de qualité. De manière générale, le personnel accorde peu de priorité aux RAP, et la sélection des consultants ne fait pas l’objet d’un examen approfondi.

104. La création récente du poste de chef d’appui à la mise en œuvre pourrait contribuer à résoudre le problème de responsabilité. Les différents aspects du portefeuille pourraient donc être examinés avec les divisions sectorielles, en y apportant une perspective régionale et une meilleure harmonisation intersectorielle. L’option d’une approche axée sur une équipe (le chef de projet jouant le rôle de chef de file) pourrait être prise en vue de rehausser le niveau de franchise et d’objectivité, et conformément aux orientations du Manuel opérationnel. À cet égard, le CPP devrait également entrer en jeu et contribuer à une approche plus collégiale, dans la mesure où les projets individuels font partie du portefeuille pays que les équipes pays ou régionaux doivent gérer, profitant ainsi d’une meilleure convergence.

105. Les entretiens menés dans le cadre de la présente évaluation suggèrent toutefois que, dans un contexte marqué par une forte décentralisation, une meilleure définition des rôles est nécessaire. Et la capacité réelle de cette nouvelle fonction à s’exercer sur l’ensemble du portefeuille a suscité quelques inquiétudes, compte tenu de la rareté des ressources humaines. En général, les directeurs sectoriels ont une responsabilité directe sur les EER et les notations, mais la pratique semble varier d’un secteur à l’autre et d’une région à l’autre.

106. Même si les chefs de projet interrogés sont enclins à impliquer l’Emprunteur dans la notation de projets, cette pratique n’est pas recommandée, car elle réduit la flexibilité et n’encourage pas beaucoup les directeurs à questionner les notations et à exercer leur responsabilité. Les emprunteurs peuvent toutefois participer au processus d’évaluation indépendante.

107. Le portail du portefeuille (et le rapport « éclair » trimestriel sur le portefeuille) est un mécanisme de responsabilisation qui garantit une meilleure conformité et fournit un cadre pour anticiper plus vite sur des mesures correctives. Comme l’illustre le rapport sur le portail, la performance du portefeuille est prévue dans l’Accord de performance entre les Vice-présidents et le Président. Elle pourrait être déclinée en cascade entre les directeurs. L’idée de rendre largement disponible la performance de certains indicateurs clés de projets est généralement très forte, surtout si le système permet de résoudre des problèmes avant que la Haute Direction ne soit mise au courant. Mettre les indicateurs clés de performance (retards accusés dans les décaissements, la passation de marchés et l’exécution, etc.) directement à la disposition de tout le personnel est une pratique assez courante dans les institutions de référence.

108. De même, le déploiement du RRS pourrait permettre de poster, sur un portail en ligne dédié, des données essentielles sur l’exécution de projets ainsi que les produits SPAE les plus importants (EER, examens à mi-parcours, RAP). Il pourrait se positionner non seulement comme un puissant instrument pour améliorer la responsabilité et la production de rapports, mais également comme un outil efficace que les directeurs utiliseront pour rationaliser les normes d’établissement de rapports et réduire le fardeau des chefs de projet. Mettre des informations à la portée du plus grand nombre, tout en signalant les omissions et les retards, est également susceptible d’améliorer la conformité. Cela est absolument nécessaire, d’autant plus qu’il s’agit de l’un des domaines où la Banque affiche une faible performance par rapport aux institutions retenues à des fins de comparaison.

Tableau 8 : Qualité des RAP

Cohorte de

2016

Cohorte de

2017

Nombre de

RAP ayant

obtenu une

note de 3 ou

plus

15 (30 %) 56 (64 %)

Nombre de

RAP ayant

obtenu une

note de 2,5

ou plus

40 (82 %) 65 (74 %)

Notation

globale du

RAP

2,67 2,9

Pourcentage

de RAP

soumis dans

les délais

77 % 58 %

26


109. Le cadre de résultats du CEP manque de précision et de clarté pour ce qui est d’identifier les indicateurs et données de référence du développement. Les ONS ne disposent ni d’outils adéquats pour évaluer les progrès réalisés pour atteindre les objectifs de développement à la phase d’exécution, ni de données à insérer dans les PSR, les ASR et les RSE. Le plus souvent, les disparités entre les indicateurs des résultats en matière de développement qui sont évalués au départ (RAP et ADOA) et ceux qui sont suivis au cours de la mise en œuvre sont à l’origine d’une mauvaise qualité de contrôle et de soumission des résultats obtenus et réduisent les chances d’atténuer efficacement les risques.

110. Une évaluation indépendante de la qualité des PSR, des ASR et des RSE, qui a été conduite pour les besoins de la présente évaluation, a révélé des disparités dans l’évaluation des résultats en matière de développement. Ces résultats ont tendance à être jugés satisfaisants malgré des carences et des contraintes évidentes liées aux données. Les données E&S sont particulièrement rares (mais des efforts ponctuels ont été récemment déployés pour améliorer la supervision E&S des lignes de crédit). Ces problèmes réduisent l’efficacité des SPAE durant l’évaluation et la gestion des performances, notamment en ce qui concerne les résultats en matière de développement et la rentabilité des investissements. À cela s’ajoutent la connaissance insuffisante des directives d’évaluation et la faiblesse de l’analyse financière et économique.

111. Il existe néanmoins plus d’un système de validation interne pour les ONS, contrairement aux projets du secteur public. Le Comité du crédit et des risques (CRC) est responsable de la gestion du portefeuille, tandis que PINS s’occupe du suivi du portefeuille tiers, ce qui offre plus d’une approche double quant à la responsabilité et la fonction de contrôle (y compris sur la notation de projets). Toutefois, le faible niveau de conformité semble indiquer un niveau de responsabilité tout aussi faible. Les notations des résultats en matière de développement ne sont pas systématiquement validées par le CRC, et celui-ci n’évalue pas efficacement les risques liés à ce type de résultat dans les ASR.

DSP et DSIR

112. Les rapports d'auto-évaluation du CSP et du RISP ne sont pas validés par IDEV, contrairement aux organisations de comparaison. Cependant, IDEV a récemment validé un CSP et un RISP à titre pilote et évaluera les possibilités d'expansion. IDEV effectue des évaluations indépendantes de programme de pays (CSPE) sur la base du besoin potentiel d'informations d'évaluation (par exemple, révision de la politique ou de la stratégie à son expiration) qui englobe une ou plusieurs périodes de DSP ou de RISP. Ceux-ci sont distribués séparément au Conseil avant la discussion du prochain CSP / RISP. Pour cela, IDEV est passé d'un système de notation à 6 points à un système de notation à 4 points en 2017 (conformément à l'échelle de la Banque) sur une base pilote pendant deux ans. De 2014 à 2019, 22 CSPE ont été préparés et discutés avec CODE. L’évaluation du CSP / RISP-CR et l’évaluation indépendante des CSP et des RISP ne sont pas harmonisées, ce qui entrave une analyse comparative complète de ce qui a fonctionné ou non sur la base de critères d’évaluation communs et d’une évaluation des performances. Bien qu'une tentative ait été faite pour aligner les stratégies des pays sur les priorités High-5, l'évaluation n'est pas basée sur des critères d'évaluation clairs tels que la pertinence, l'efficience, la sélectivité, l'efficacité, la durabilité ou les risques pour les OD, en utilisant des KPI.

Documents de politique/stratégie sectorielle ou thématique

113. Il n’existe aucune politique ou orientation officielle sur l’application des SPAE aux documents de politique/stratégie sectorielle ou thématique (y compris les DSP/DSIR). Le Manuel opérationnel possède une section encore vide sur des études économiques et sectorielles. Mais les départements/unités concernés procèdent à des évaluations ponctuelles de leurs politiques/stratégies, en cas de besoin ou lorsque ces documents nécessitent de nouvelles versions. Certains de ces documents (les RA et les déclarations portant surtout sur EMP) sont très peu courants. Les EMP et les RA produits ne sont pas notés, encore moins évalués par IDEV de manière systématique. Mais si IDEV les évalue, il examine également les rapports d’auto-évaluation disponibles. Les EMP sont présentés à CODE ou au Conseil pour examen.

Responsabilité externe

114. La responsabilité est fortement demandée par le Conseil. Le RMF, à travers le rapport ADER, demeure le principal outil d’établissement de rapports qui est utilisé pour informer le Conseil. Les SPAE sont particulièrement

27

pertinents pour les indicateurs de niveau 3 du RMF sur l’efficacité opérationnelle de la Banque32. La plupart de ces indicateurs sont globalement alimentés par les SPAE. Par conséquent, le degré de responsabilité que peut exercer le Conseil sur l’efficacité opérationnelle est tout simplement aussi bon que la qualité des informations fournies à travers les SPAE.

115. Les entretiens avec les bureaux du Département de l’évaluation indépendante (IED) ont permis de soulever un certain nombre de problèmes (annexe 6) concernant :

• La fiabilité du RMF, l’insuffisance des informations reçues à partir de la base de données RMF (qu’elles soient validées ou pas), le rôle des SPAE et le mode de prise de décisions.

• Le faible niveau de conformité aux normes SPAE (EER, EMP et RAP) et l’irrégularité de leur mise en œuvre.

• La récurrence des commentaires du Conseil, que personne ne semble se charger d’en tenir compte.

• La volonté de réexaminer la méthodologie de notation selon une échelle à quatre points, et en particulier l’adéquation et la définition des notations « Satisfaisant » et « Insatisfaisant » et le procédé à suivre pour qu’elles soient efficacement et régulièrement utilisées pour des projets, dans les RPPA, les RPPP, les DSP et les DSIR.

• Les SPAE qui donnent l’impression d’être un exercice visant à cocher des cases. Le personnel choisit très rapidement la mention « Satisfaisant », même lorsque des problèmes existent et que le compte rendu descriptif ne correspond pas aux notes attribuées.

• Le fait que les DSP soient toujours satisfaisants. Il faut que la méthodologie d’auto-évaluation des DSP change. Le Conseil ne se concentre pas suffisamment sur les RAP, mais davantage sur les DSP. Il est pourtant préoccupé par l’écart de notation qui existe principalement entre les DSP et les RPPP.

• La qualité mitigée des cadres logiques de projets, qui ne sont pas régulièrement utilisés pour accompagner les contreparties et mesurer les cas de réussite. Le problème majeur demeure celui de mesurer correctement le niveau de revenu.

• Le conflit d’intérêt qui découle du fait que les chefs de projet soient chargés de préparer et de superviser des projets, puis d’auto-évaluer leur propre travail. Cela ne peut que créer des problèmes de franchise.

• La nécessité de faire disparaître la perception selon laquelle la performance du projet est liée à celle du personnel. Une réputation d’« implanteurs de projets » est à construire.


116. Certaines constatations s’imposent :

• Faisant l’état du nombre de projets qui remplissent leurs OD (objectifs de développement, le RMF (cadre de mesure des résultats) utilise la note du RAP comme valeur intermédiaire, dans la mesure où la communication en temps voulu des notes validées pour les rapports institutionnels a été difficile. Toutefois, comme le note le Manuel des opérations et conformément à la pratique de toutes les autres organisations de référence, la note officielle doit être celle attribuée par IDEV. De plus, le rapport de synthèse des NERAP (note d’évaluation des rapports d’achèvement de projet) (avec des notes de validation d’IDEV) est transmis séparément au Conseil, souvent avec des notes différentes et inférieures, ce qui peut être source de confusion.

• Un nouvel objectif vise plus de 80 % des projets à évaluer positivement par IDEV. Cependant, les résultats varient considérablement selon la manière dont on entend « satisfaisant ». Comme nous l’avons vu plus haut dans le rapport, l’utilisation d’une fourchette de notation de 2,5 à 3,49 comme définition de « satisfaisant » donne une image plus brillante que si la note 3 était utilisée comme point de référence, comme l’indique le système actuel de notation à 4 points.

• Certains objectifs du RMF sont fixés à un niveau irréaliste, compte tenu de la performance actuelle ou des questions soulevées précédemment. Par exemple, l’objectif d’au moins 93 % pour la

32 Les indicateurs de niveau 3 sont : i) accroître les effets des opérations sur le développement ; ii) améliorer la qualité et la vitesse des

opérations ; iii) renforcer la performance de portefeuilles ; et iv) améliorer la qualité des connaissances et des services-conseil de la Banque. Chacun de ces indicateurs repose sur un certain nombre de sous-indicateurs.

28

durabilité semble réalisable lorsque l’on utilise la note 2,5 et plus du RAP (87 % pour les années 2016 et 2017 cumulées), mais elle est trop ambitieuse lorsqu’on utilise la note 3 et plus du NERAP 3 (43 %) ou même 2,5 et plus (71 %).

• La « déconnexion nette », c’est-à-dire la différence entre le nombre de cas où IDEV attribue une note plus élevée (mise à niveau) et le nombre où il attribue une note inférieure (déclassement), est un indicateur pertinent que le Conseil doit prendre en considération. Cet indicateur peut être considéré comme un indicateur de l’« écart de franchise ».


117. La performance des ONS n’est pas séparément assujettie à des rapports externes au moyen des indicateurs de niveau 3 du RMF, qui peuvent être liés aux niveaux plus élevés de confidentialité attachés aux ONS. Contrairement à d’autres institutions sœurs telles que la BAsD et l’IFC, le système d’auto-évaluation de la Banque africaine de développement n’informe pas le Conseil sur la performance des ONS à une échéance précoce. La pratique actuelle n’offre pas au Conseil d’opinion indépendante exacte et en temps voulu sur la réalisation des résultats en matière de développement des ONS ou sur la contribution et l’efficacité de la Banque. Sur une base sélective, cependant, les projets font l’objet d’une évaluation postérieure complète en utilisant l’approche de projet groupé. IDEV mène cet exercice de façon indépendante et un rapport d’évaluation sur la performance des projets groupes est transmis à la Direction et au Conseil d’administration. De plus, le rapport annuel sur l’état du portefeuille (basé sur les PSR) est envoyé pour information au Président et au Conseil d’administration. Toutefois, comme on l’a déjà mentionné (paras 42-43), le niveau de conformité aux PSR est faible.

DSP/DSIR (Documents de stratégie pays/Documents de stratégie d’intégration régionale)

118. Le rapport d’achèvement du DSP est distribué au Conseil et présenté à CODE pour examen. Une revue à mi-parcours (MTR) du DSP est préparée au milieu de la période de mise en œuvre pour évaluer les progrès de la mise en œuvre. S’il n’y a pas de changement de stratégie, le MTR est discuté au niveau de CODE. En cas de changement intervenu dans la stratégie initiale, le MTR doit être présenté au Conseil pour approbation.

119. Les rapports d’auto-évaluation du CSP et du DSIR ne sont pas validés par IDEV, contrairement aux organisations de référence. Toutefois, IDEV a récemment validé un CSP et un DSIR sur une base pilote et évaluera la possibilité d’étendre cette opération33. IDEV effectue des évaluations indépendantes des programmes pays (CSPE) en fonction du besoin potentiel d’information d’évaluation (p. ex. révision de la politique ou de la stratégie à l’expiration). Ces évaluations s’étendent sur une ou plusieurs périodes de CSP ou de DSIR. Elles sont distribuées séparément au Conseil avant l’examen du prochain CSP/DSIR. À cette fin, IDEV est passé, en 2017, d’un système de notation à 6 points à un système de notation à 4 points (en conformité avec l’échelle de la Banque), sur une base pilote couvrant deux ans. De 2014 à 2019, 22 CSPE ont été préparés et soumis à CODE pour examen. L’évaluation du CSP/DSIR-CR et l’évaluation indépendante des CSP et des DSIR ne sont pas harmonisées, ce qui nuit à l’analyse comparative complète de ce qui a fonctionné ou non sur la base de critères d’évaluation communs et d’une évaluation de la note de la performance. Bien que l’on ait tenté d’aligner les stratégies des pays sur les Cinq grandes priorités, l’évaluation n’est pas fondée sur des critères d’évaluation clairs tels que la pertinence, l’efficacité, la sélectivité, l’efficacité, la durabilité ou les risques pour les résultats de développement, en utilisant des indicateurs de performance clés.

120. Des questions d’uniformité entre les DSP et résultats des CPPR sont apparues récemment et la pertinence d’aborder simultanément les aspects de gestion du portefeuille et la stratégie d’aide aux pays a été remise en question. Les CPPR sont principalement influencés par le portefeuille actif (notes des rapports d’achèvement de projet), lui-même affecté par les questions de conformité et de franchise, tandis que les DSP sont informés par leur propre cadre de résultats et leur propre description. À l’heure actuelle, le CSP-CR ne figure pas sur le tableau de bord ; il est donc peu utile pour contribuer à informer les nouveaux CSP. À cet égard, il conviendrait de passer en revue l’ensemble du processus du DSP si l’on veut renforcer le système de responsabilisation, tirer les leçons de l’expérience et se préparer au prochain DSP. De plus, avec l’introduction récente des notes diagnostiques, l’articulation avec les CPPR est également

33 L’opération pilote pour le DSP d’Afrique du Sud a mis en évidence certains enjeux clés, tels que l’absence de critères d’évaluation

détaillés ou d’orientations sur les notes relatives aux différentes dimensions de l’exercice d’auto-évaluation de l’achèvement du DSP. Cela conduit à des rapports à la qualité et aux contenus variables. La qualité du cadre de DSP axé sur les résultats et son utilisation comme outil de suivi appellent des améliorations, notamment dans les liens entre les intrants, les extrants et les résultats proposés.

29

à revoir. La Direction a entamé une discussion avec CODE sur la nécessaire révision en cours de la méthodologie du CSP/CPPR.34

C- Leçons tirées de l’expérience

121. L’un des principaux objectifs du SPAE (Système et processus d’auto-évaluation) est de s’intéresser produits destinés à promouvoir l’acquisition de connaissances. C’est particulièrement le cas des rapports d’achèvement de projet, des DSP, des DSIR, des rapports thématiques et des stratégies sectorielles. Dans le cas des projets, les rapports d’achèvement sont validés par IDEV. Il est donc légitime de se demander quel niveau d’apprentissage est réellement tiré et si cet investissement produit les avantages escomptés.

122. Les membres du personnel qui ont répondu au sondage (voir l’annexe 7) sont généralement positifs sur le fait que les résultats du SPAE sont de bons outils d’apprentissage (59 %). Cependant, les entrevues individuelles montrent beaucoup de scepticisme à tous les niveaux. Les RAP/RSE (rapport d’achèvement de projet – rapport de supervision étendu) seraient potentiellement de bons outils d’apprentissage, surtout dans le même pays, pour les projets de suivi, les DSP et les CPPR, en supposant qu’ils soient produits en temps opportun. Ces documents sont certes moins pertinents pour le personnel d’autres régions, car, à leur avis, les leçons sont soit trop génériques et non exploitables, soit à l’inverse trop spécifiques et non reproductibles. L’on a signalé que des leçons sont épisodiquement tirées du SPAE, du fait que les RAP ne permettent pas toujours d’extraire une histoire crédible pouvant être utilisée dans d’autres contextes. Le fait que certaines questions soient récurrentes et se retrouvent dans presque tous les RAP (mauvaise qualité du suivi-évaluation, faible analyse coûts-avantages, retards de décaissement, problèmes d’approvisionnement, faible capacité des agences d’exécution des projets), comme le montrent l’étude de cas et les rapports de synthèse des RAP, est un signe que peu de leçons se traduisent en actions.

123. La base de donnees des resultats d’evaluation (EVRD) d’IDEV mise a part, il n’y a pas de site unique où l’on peut accéder aux informations et aux produits SPAE. Les SPAE n’ont pas conduit à un référentiel de connaissances solide, exploité et partagé régulièrement par le personnel. Les possibilités d’apprentissage pourraient être améliorées si l’information était accessible en ligne par le biais d’une plateforme commune. Le processus est enclenché, avec l’avènement du RSS qui incorporera les données de tous les produits SPAE.

124. Il est nécessaire de faire preuve de plus de créativité pour ce qui concerne la diffusion et le partage des leçons avec d’autres pays sur le même secteur ou sur des questions spécifiques similaires. Selon le manuel NERAP, des ateliers d’une demi-journée sont organisés avec le personnel concerné afin d’améliorer les commentaires sur les résultats tirés de NERAP/NERSE. Mais cela arrive rarement. Les sessions d’apprentissage doivent s’appuyer sur des données probantes et être considérées comme un espace sûr où les gens sont prêts à apprendre des succès et des échecs. Si le RAP/RSE est considéré comme un outil pour juger les TM, il sapera la franchise des évaluations et les possibilités d’apprentissage. La note elle-même est en fait considérée comme un obstacle à l’acquisition de connaissances parce qu’elle rend potentiellement la discussion inutilement conflictuelle. L’acquisition de connaissances doit se concentrer sur la production et le partage du savoir avec un objectif prospectif d’ajouter de la valeur, de fournir des solutions et d’améliorer un plan d’action indépendamment de ses critères d’évaluation.

125. Il y a donc une ligne de démarcation délicate à tracer entre la recherche de la responsabilisation et l’acquisition de connaissances. Les documents de stratégie (pays ou thématiques) sont plus propices à l’acquisition de connaissances, peut-être parce qu’aucune évaluation n’est en cause. Le désaccord sur les notes entre les fonctionnaires et IDEV mine encore davantage l’incitation à promouvoir l’acquisition de connaissances. Les entrevues des TM (gestionnaires de tâche) soulignent que la validation d’IDEV est souvent considérée comme trop rigide et injuste, trop axée sur le cadre initial de résultats (que le personnel trouve trop lourd à mettre à jour) et qu’elle se dissocie du processus et de l’information qui l’accompagne.

126. Le peu de communication entre l’équipe de RAP/RSE et l’équipe IDEV n’est pas propice à l’alignement des points de vue et à une meilleure compréhension des enjeux. Débattre et comprendre les raisons des points de vue divergents pourraient en fait être une source d’apprentissage en soi et améliorer la qualité de la fonction d’auto-évaluation. Avec cela, le format du RAP/RSE pourrait également être amélioré pour approfondir l’acquisition de connaissances, de sorte qu’il ne soit pas considéré comme un exercice de vérification à la fin du cycle. La majorité des répondants au sondage effectué auprès du personnel sont d’accord pour dire que le manque de confiance dans les SPAE ruinent son potentiel d’apprentissage.

34 Note d’information à CODE sur la méthodologie d’évaluation de la performance du CSP dans les rapports d’achèvement du CSP (12 décembre 2018).

30

127. Deux des aspects les plus difficiles de l’évaluation et de l’acquisition de connaissances sont la qualité des données probantes produites et la mesure dans laquelle les résultats sont imputables à la Banque. La nécessité d’obtenir des leçons fondées sur des données probantes est normalement abordée par l’articulation entre les lignes d’appui, les cadres de résultats et les systèmes de suivi-évaluation. En l’absence de preuves solides, les projets sont pénalisés au moment de la validation et l’acquisition de connaissances devient incertain. L’établissement du fondement des notes est plus difficile et nécessite la mise en place de méthodologies coûteuses qui ont fait leurs preuves statistiquement, du moins pour un échantillon de projets. Des études occasionnelles d’évaluation d’impact pourraient être utilisées au cas par cas pour fournir un ensemble solide de données probantes sur lesquelles les sessions d’apprentissage peuvent être organisées. L’intégration de méthodes d’évaluation d’impact dans les systèmes de suivi des projets pourrait fournir efficacement des approches quantitatives et qualitatives pour rendre compte non seulement de l’atteinte des résultats, mais aussi examiner les questions de mise en œuvre.

128. Lier l’acquisition de connaissances au cycle de projet suppose que tirer des leçons des RAP ne peut se faire qu’une fois le projet terminé, ce qui signifie en moyenne sept à neuf ans après le début du projet. Les RAP sont censés être livrés six mois après la clôture et beaucoup d’entre eux (57 %) arrivent trop tard, même pour informer les opérations de suivi préparées avant la clôture du projet. Une plus grande flexibilité et un apprentissage en temps réel seraient nécessaires, ce qui signifie également de meilleures façons d’extraire les connaissances en cours de supervision.

129. La culture du prêt n’a pas contribué à favoriser l’acquisition de connaissances à travers les processus d’auto-évaluation. Cependant, les signaux changent et un certain nombre de mesures proposées dans le plan de mise en œuvre du QA (assurance qualité) vont dans la bonne direction. En fin de compte, la question est de savoir si le même instrument peut tirer deux résultats en même temps : la responsabilisation et l’acquisition de connaissances, ou si les compromis sont tels que des mécanismes et des produits distincts et dédiés sont nécessaires. Le Groupe de la Banque mondiale est arrivé à la même conclusion dans son récent rapport d’évaluation SPAE.35 Tout en soulignant la trop grande importance accordée aux notes, il a recommandé qu’en cherchant un meilleur équilibre entre la performance, la responsabilisation et l’acquisition de connaissances, la fonction de responsabilisation du SPAE ne soit pas sacrifiée et les évaluations volontaires d’impact doivent être développées pour couvrir un plus large éventail d’interventions dans un pays, un secteur ou une région donnés.

130. Dans le cas des ONS, les notes et les leçons apprises sont vérifiées par les gestionnaires de secteur lors des réunions départementales auxquelles assistent normalement les chargés d’investissement et de portefeuille pour améliorer la boucle de rétroaction. Cependant, il n’existe pas de base de données consolidée sur les leçons apprises qui soit accessible aux chargés du développement et du portefeuille des ONS. Les leçons apprises doivent être institutionnalisées et documentées afin d’assurer une forte capitalisation des enseignements tirés en fonction des interactions entre les Opérations, la Gestion des risques, ECON et IDEV.

131. En outre, il est nécessaire d’accroître les enseignements tirés des ONS sur les sauvegardes environnementales et sociales et l’adaptation au changement climatique, ainsi que sur les objectifs du développement durable (ODD) et l’intégration des sauvegardes en s’adressant aux clients et aux parties prenantes privées. Comme indiqué dans l’évaluation indépendante de l’ISS, il faudra peut-être commencer par la phase de l’identification et de la préparation du projet afin que des ressources soient affectées à la supervision du projet. Quelques facteurs limitent la capacité du SPAE des ONS à contribuer à l’acquisition de connaissances : i) le faible niveau de conformité et donc d’établissement de rapports ; ii) le niveau requis de confidentialité et, partant, une divulgation moindre ; iii) les retards de validation de l’RSE, qui peuvent avoir une incidence sur la perception de la crédibilité du SPAE ; iv) la moindre importance accordée à l’évaluation de l’atteinte des résultats de développement par rapport à la performance financière.

D- L’adéquation des SPAE aux cas spécifiques

132. Le manuel des opérations et certains des résultats des SPAE doivent être améliorés afin d’accroître leur pertinence pour un certain nombre de thèmes prioritaires et de produits opérationnels tels que :

• Les questions relatives au genre, qui ne sont pas suffisamment couvertes dans les projets, les DSP ou les DSIR en raison d’une faible méthodologie d’évaluation des résultats (absence d’indicateurs de résultats). Les experts en genre ne sont pas systématiquement impliqués pendant le cycle du projet, les examens à mi-parcours des DSP/DSIR et les CR. Il n’y a pas de directives claires en place pour rendre compte des résultats sexospécifiques dans les SPAE à travers les systèmes de suivi-évaluation, comme en témoignent les faibles notes apparaissant

35 Derrière le miroir : rapport sur les systèmes d’auto-évaluation du Groupe de la Banque mondiale (2015).

31

dans les 137 NERAP examinés. Aucun budget dédié n’est en place pour couvrir spécifiquement les questions de genre pendant la préparation, la mise en œuvre et l’achèvement. Un système de classification des questions de genre, fondé sur les profils de genre, facilitera le suivi et la supervision et augmentera la crédibilité du SPAE pour la présentation de rapports sur le genre dans les projets, les CSP et les DSIR.

• Les aspects de changement climatique et de sauvegardes environnementales et sociales, qui pourraient être mieux intégrés dans les SPAE. C’est ce que confirme l’évaluation indépendante de l’ISS, qui a révélé une faible conformité aux exigences du Plan d’action environnementale et sociale (ESAP, PAES). L’examen des rapports de suivi disponibles a révélé des rapports partiels et vagues axés sur certaines mesures d’atténuation environnementale/sociale, mais non une image globale de l’ensemble des mesures incluses dans les documents de gestion environnementale et sociale des clients et des emprunteurs. En outre, l’articulation des exigences en matière de changement climatique avec d’autres vérifications des bonnes procédures environnementales et sociales suivies par la Banque a été ardue et les indicateurs institutionnels utilisés par la Banque, par exemple dans l’ADER, portent sur le travail effectué avant l’approbation du Conseil.

• Les opérations d’appui programmatique (OAP) ne sont pas bien desservies par les formats et les modèles SPAE actuels. Le modèle d’affaires est très différent puisque la plupart des OAP n’ont qu’une ou deux tranches de décaissement et lorsque le projet est présenté au Conseil, les conditions de la première tranche ont déjà été remplies et les fonds du projet sont entièrement ou partiellement décaissés peu de temps après. De nombreuses sections des IPR (rapports sur la mise en œuvre des projets) ne sont pas adéquates, pas plus que la fréquence des rapports. Par conséquent, les questions de conception sont prioritaires et des dispositions différentes doivent être prises pour tenir compte du dialogue sur les politiques au-delà de la date de clôture du prêt (qui est généralement très rapprochée) pour pouvoir évaluer l’incidence des changements d’orientation sur la performance sectorielle ou macroéconomique.

• Les projets d’assistance technique (AT) ne sont soumis au SPAE que dans la mesure où leur niveau de financement est equivalent ou plus qu’un million d’unités de compte. Cela laisse de côté la majorité des projets d’AT. Pour ceux qui sont couverts, le format des IPR et des RAP pourrait être simplifié et mieux adapté aux projets qui sont essentiellement des acquisitions de services de consultants pour le renforcement des capacités, le renforcement institutionnel et les études.

• Les situations de fragilité et de conflit sont signalées pendant la mise en œuvre comme si elles existaient dans un environnement normal. Elles mériteraient des formats spécifiques et plus adaptés, des enquêtes, des budgets et des fréquences de production de rapports appropriés. L’impact de la fragilité sur les résultats doit être plus facilement discernable par le biais du SPAE, car cela peut améliorer la responsabilisation, dans la mesure où la solution de nombreux problèmes liés à la fragilité dépasse la capacité du gestionnaire de tâche.

VI- Conclusions et recommandations

32

Conclusions

133. Dans une grande mesure, les SPAE de la Banque sont pertinents et conformes aux meilleures pratiques des organisations de référence. Les outils et procédures d’orientation existants sont clairs et alignés sur les principales politiques et stratégies (High5s, TYS), ainsi que sur le modèle de prestation de services (DBDM) de la Banque. Une théorie du changement n’est pas explicitement disponible pour les SPAE, mais, conformément à la pratique des organisations de référence, le système a toujours poursuivi trois principaux résultats : promouvoir une meilleure performance, favoriser la responsabilisation et améliorer l’acquisition de connaissances. Les SPAE sont étroitement intégrés à la fonction de validation indépendante d’IDEV, en accord avec les institutions de référence. Néanmoins, tout en assurant l’indépendance d’IDEV, il faut améliorer la recherche d’une meilleure convergence entre le personnel et IDEV en ce qui concerne les notes, l’harmonisation des méthodologies de notation, les définitions et la cohérence de ce dont il est fait rapport au Conseil.

134. Les résultats de l’évaluation des SPAE montrent que sa principale faiblesse ne réside pas dans les procédures et les normes établies, mais dans leur application, en particulier en ce qui concerne le faible niveau de conformité avec les procédures établies, le déficit de franchise et l’excès d’optimisme dans l’évaluation de la performance, ainsi que le peu de ressources fournies au suivi-évaluation pendant la supervision. D’où un manque de confiance sous-jacent et omniprésent dans le système et la perception que le système ajoute peu de valeur. Cette évaluation révèle que les progrès pour atteindre une culture de l’efficacité du développement ont été mitigés et que le potentiel d’impact des SPAE sur les trois principaux résultats de la gestion de la performance, de la responsabilisation et de l’acquisition de connaissances n’est pas réalisé.

135. Cela n’enlève rien au fait que les équipes de projet et les gestionnaires de tâche sont fondamentalement motivés pour aider les clients à obtenir des résultats et, dans l’ensemble, sont engagés à superviser le projet. Toutefois, la structure d’application et d’incitation en vigueur et le degré de responsabilisation exercée ne sont pas propices à l’utilisation des SPAE comme outil fiable de rapport et instrument efficace pour gérer la performance et prendre des mesures correctives. Comme l’a dit une personne interviewée, « si la Direction se soucie des SPAE, le personnel s’en souciera aussi ». Une plus grande responsabilisation des gestionnaires doit s’accompagner d’un plus grand effort pour mieux aider les équipes en les dotant des capacités et des ressources adéquates ainsi que d’un meilleur cadre incitatif récompensant la proactivité et la prise de mesures correctives en appui à la restructuration des projets.

136. On pourrait soutenir que les hypothèses et les attentes qui sous-tendent les SPAE en ce qui a trait à la réalisation des résultats déclarés sont irréalistes et que, généralement, la gestion de la performance et la reddition de comptes ont éclipsé, voire miné, la poursuite des objectifs d’apprentissage. Ce point de vue trouve un écho dans la situation des institutions de référence. Plutôt que d’essayer d’adapter le même instrument à la poursuite de multiples objectifs, il peut être plus approprié de développer une approche distincte de l’acquisition de connaissances ayant les SPAE comme l’un de ses intrants, mais s’appuyant sur des créneaux et des instruments plus spécifiques et mieux adaptés.

137. La gestion des notes demeurera un sujet controversé tant qu’elle sera considérée comme un outil pour porter un jugement sur la performance du personnel. Reste à savoir si le système pèse trop ou non sur les notes, mais il conviendrait de tenter d’atténuer la perception que les notes sont faciles à manipuler, que la validation d’IDEV est hors contexte et la plupart du temps sujette à confrontation par nature, que la déconnexion d’avec IDEV peut être largement ignorée, et que la méthodologie de notation est trop rigide et trop bureaucratique. La méthodologie de la notation demande à être révisée pour devenir plus objective et s’appuyer davantage sur des données probantes dans son application. L’expérience des institutions de référence a été invoquée pour proposer des améliorations.

138. Tout en réexaminant certaines des hypothèses, mesures incitatives et indicateurs sous-jacents susceptibles d’améliorer la performance des SPAE, il pourrait aussi s’avérer opportun d’élaborer un cadre d’auto-évaluation qui assurera un meilleur alignement avec les politiques d’évaluation et une plus grande cohérence entre les différents instruments. Dans le même temps, un certain nombre de résultats pourraient être mieux adaptés aux aspects thématiques spécifiques et à la situation des pays.

139. Les outils d’établissement de rapports tels que les tableaux de bord et le RMF se sont avérés être de puissants mécanismes de reddition de comptes. Ils doivent être améliorés pour couvrir les indicateurs de conformité et de résultats, et fournir une plus grande visibilité sur les « déconnexions » possibles dans l’attribution des notes entre le personnel et IDEV. Les outils SPAE sont assez interconnectés et toute la chaîne est aussi forte que le maillon le plus faible, à commencer par les systèmes de suivi-évaluation, ensuite les IPR qui alimentent directement d’autres produits tels que les RAP, les CPPR, les DSP et DSIRS, et jusqu’au RMF. Le fait de fournir aux gestionnaires hiérarchiques des informations en temps réel au moyen de plateformes en ligne et de données de conformité améliorera la

33

responsabilisation et la transparence, facilitera l’automatisation de la communication des résultats, la remontée rapide des problèmes vers la haute Direction, la fiabilité de l’information et l’efficacité des rapports au niveau de l’institution.

140. La Direction est informée de ces questions et, à la suite des travaux d’évaluation antérieurs, y compris par la Direction elle-même, elle a adopté, au cours de l’année 2019, un plan d’action en matière d’assurance qualité (AQ) pour le secteur public et les ONS. Notamment, elle s’est engagée à transformer la culture d’approbation de l’institution en une culture qui encourage et met l’accent sur les résultats et l’efficacité du développement. Elle souhaite également réorienter la supervision d’une approche de conformité passive vers un soutien à la mise en œuvre proactive et continue. De grands efforts seront déployés pour former le personnel par l’entremise d’une Académie des opérations. Les plans d’action ont mis en place un environnement propice pour articuler des conclusions et recommandations plus précises liées au SPAE, que cette évaluation présente comme suit.

Recommandations (les constatations connexes sont référencées dans le résumé analytique)

1. Examiner le cadre de mesure des résultats et les cadres d'évaluation de la BAD tout au long du cycle de projet pour garantir (i) la cohérence interne dans l'ensemble du système de mesure et de communication des résultats de la BAD, du fonctionnement au niveau de l'entreprise, et (ii) qu'il existe une harmonisation entre souverain (OS) et opérations non souveraines (ONS).

2. Examiner et réviser, en étroite collaboration avec IDEV, la méthodologie de notation RAP / RSE utilisée, y compris l'échelle de notation et les directives afin d'améliorer la fiabilité du système de notation pour toutes les opérations, et de mieux aligner OS et ONS.

3. Renforcer la responsabilisation pour les produits SPAE en développant des indicateurs appropriés et en incorporant explicitement ces indicateurs dans les indicateurs clés de performance de la BAD, dans les accords de performance des VPs et des directeurs, et dans les discussions sur la performance du personnel. L'accent devrait être mis sur la livraison, la rapidité, la qualité, l'utilité et la proactivité; encourager la franchise en signalant et en abordant les problèmes émergents.

4. Dans le contexte de l’excercice du « rightsizing »de la BAD, revoir les niveaux de dotation en personnel pour le S&E des OS et des ONS, ainsi que les activités d'assurance de la qualité afin de garantir que la fonction d'auto-évaluation dispose du personnel et des ressources nécessaires.

5. Améliorer la conformité avec les exigences de rapport d'auto-évaluation de la Banque en clarifiant les rôles, les procédures, la fréquence et les exigences de rapport pour la supervision, le soutien à la mise en œuvre et l'achèvement. En outre, travailler avec IDEV sur un calendrier approprié et réaliste pour une validation RAP / RSE en temps opportun afin d'alimenter le rapport annuel formel sur l'efficacité du développement des interventions financées par la BAD.

6. Améliorer l'apprentissage grâce aux SPAE en améliorant (i) la qualité et l'accessibilité des produits SPAE, et (ii) la compréhension et l'acceptation des SPAE par les gestionnaires de tâches comme des outils d'apprentissage plutôt que comme des outils de responsabilisation.

i

Date post:	12-Nov-2020
Category:	Documents
Upload:	others
View:	1 times
Download:	0 times