 |
|
|
 |
 |
 |
 |
 |
 |
 |
 process in which monitoring and evaluation are needed.&p[images][0]=http://epomm.eu/newsletter/v2/content/2016/0316/img/fb.jpg&p[url]=http%3A%2F%2Fepomm.eu%2Fnewsletter%2Fv2%2Feupdate.php%3Fnl%3D0316%26lan%3Dfr "share on facebook")
Cher lecteur, Le suivi régulier et le rendu-compte constituent l'un des sept principes du SUMP (sustainable urban mobility plan – ou plan de mobilité urbaine durable, dont le plan de déplacement urbain – PDU – est la version française) tel que défini par la Commission Européenne dans son paquet sur la mobilité urbaine (Urban Mobility Package). Dans cette lettre d'information, nous explorerons les phases du processus d'élaboration d'un SUMP dans lesquelles le suivi et l'évaluation sont nécessaires. Nous montrerons des exemples issus de villes ENDURANCE et vous proposerons des outils et des documents utiles, tirés notament du projet NISTO, récemment arrivé à terme. | |
Les derniers mois d'ENDURANCE |
|
 Une session ENDURANCE de partage d'expérience à Barcelone | Il ne reste que trois mois d'ici la fin du projet ENDURANCE. Il affiche déjà 296 villes activées en ligne! Ceci prouve que l'assistance apportée aux villes, associant les réunions de réseau, les formations et les ateliers, les partages de bonnes pratiques et les services d'experts à la demande, sont un succès. Un grand merci à nos 25 points de contact nationaux (NFP – national focal point) qui ont conçu cette assistance aux besoins locaux et nationaux. Les informations de chaque ville ENDURANCE est d'ailleurs désormais téléchargeable en ligne sous forme d'un fichier pdf. Notre NFP portugais est le champion de la sensibilisation au SUMP : 28 villes ont ainsi démarré ou amélioré leurs SUMP. Depuis 2015, il y a eu une nouvelle dynamique de développement de PMT (version portugaise du SUMP) résultant de l'exigence formulée dans l'accord de partenariat entre le Portugal et la Commission Européenne 2014-2020. Cet accord conditionne le financement de mesures et d'actions de mobilités urbaines à l'existence d'un PMT. Un court rapport de deux pages est disponible ici. Au calendrier d'ENDURANCE :
|
Que dit la méthodologie SUMP sur la question du suivi et de l'évaluation ? |
|
 les composantes de suivi et d'évaluation dans le cycle SUMP, cliquer pour agrandir | Suivre, estimer et évaluation apparaissent régulièrement dans de nombreuses étapes, telles que décrites par les SUMP Guidelines européennes (disponibles en 9 langues):
|
Suivre, estimer et évaluer: une grande variété d'activités |
|
 Heat Map Carte des déplacements vélo à Bologne durant le Challenge Européen du vélo 2015. Crédit photo : ECC.   Source: Active Access, www.eltis.org  La ville de Maia, Portugal | Les termes de suivi et d'évaluation sont souvent mentionnés dans un même élan, et beaucoup de personnes ne réalisent pas les différences entre ces deux termes. Nous détaillerons leurs significations, ainsi que celles d'autres termes en lien avec l'évaluation, et proposerons des exemples de projets et d'outils pour les illustrer. Remarque du traducteur : afin de conserver la traçabilité des notions décrites ci-après, les termes anglais correspondants sont mentionnés en italique. Le suivi (monitoring) = mesure régulière d'indicateurs pour suivre l'atteinte d'objectifs Un recueil de données systématique et plus ou moins continu constitue la base. L'interprétation temporelle des données – l'évaluation – montre si vous êtes sur la bonne voie ou si vous devez faire face à des développements imprévus. Le projet Horizon 2020 récemment démarré CREATE a pour objectif la description du cycle d'évolution des politiques sur une période d'au moins quatre décennies pour plusieurs de ses villes, afin de montrer si elles ont atteint un “pic de voiture”. Un tel recueil systématique de données est rare. La plupart des villes ENDURANCE dispose de leurs parts modales des déplacements. Certaines d'entre elles disposent de plus de profondeur historique de ces données (par ex. Vienne et Graz). Ces éléments sont disponibles sur TEMS, l'outil de part modale d'EPOMM. Une manière intéressante de collecter des données pour certains aspects spécifiques de la situation de mobilité utilise des applications Smartphone pour suivre les comportements des usagers. Citons en exemple RouteCoach à Leuven, Belgique, le projet B-TRACK-B et l'application de comptage vélo en Flandres et aux Pays-Bas. L'application Cycling365 utilisée durant le Challenge vélo européen regroupe également des données vélo pour les planificateurs locaux. Les données brutes sortant d'une application ne sont toutefois pas toujours faciles à utiliser. Le projet NISTO a développé des “Recommandations pour la conversion de données issues de smartphones (par ex. GPS) en indicateurs qui peuvent être utilisés pour l'évaluation”. Évaluation (evaluation) = Détermination systématique de l'intérêt d'une mesure pendant et après sa mise en œuvre Alors que la différence entre les données de suivi et d'évaluation peuvent être évidentes, il est plus difficile de distinguer les deux en termes de processus ou plus généralement en termes de sorties. Un bon aperçu des différences entre suivi et évaluation est fourni par ce Blog de l'évaluation véritable. L'évaluation fait partie d'un processus de pilotage continu qui consiste en la planification, la mise en œuvre et l'évaluation ; idéalement, chaque phase se substitue à une autre dans un cycle continu et simultané jusqu'à aboutir à une mesure finale réussie. L'évaluation vous dit de combien et pourquoi vous vous écartez de votre but et ce que cet écart peut vous apprendre. Un terme associé :
Bilan (Assessment) = jugement des performances, des forces et des faiblesses d'un système, d'un processus ou d'une personne Le processus de SUMP démarre classiquement avec une auto-évaluation (self-assessment) des pratiques actuelles de planification. ENDURANCE a développé un questionnaire d’auto-évaluation afin d'aider les villes à identifier leurs principaux besoins d'assistance. Le questionnaire pouvait également être rempli par les points focaux nationaux d'ENDURANCE, afin de fournir une lecture du niveau des pratiques SUMP de la ville d'un point de vue extérieur. Termes associés :
Estimation (appraisal) = juger de la valeur et de l'importance d'une mesure ou d'un projet – dans le contexte d'un suivi et d'une évaluation, ce jugement est effectué avant la mise en œuvre, afin d'être en mesure de faire un choix éclairé entre les différentes options. Ceci est également appelé évaluation ex-ante.. (voir également notre e-update sur les packages intelligents de mesures ainsi que la base de données Konsult). Lorsque les objectifs d'un SUMP ont été définis, la ville doit choisir un ensemble pertinent de mesures. Pour cela, elle doit produire une estimation des mesures, c'est à dire identifier quelles mesures ont le plus grand potentiel de réalisation des objectifs. Par exemple, la ville Endurance de Maia, au Portugal, a un groupe technique municipal et une commission de suivi composés d'acteurs extérieurs afin de mener le suivi et l'évaluation. Pour l'évaluation ex-ante, ils ont développé différents scénarios d'évolution du système de mobilité sur la base de la technique rétro-active. En partant des objectifs à atteindre dans le futur en termes de parts modales et d'impacts environnementaux, l'ensemble de mesures a été ajusté afin de parvenir à l'atteinte de ces objectifs. Une analyse multi-critère a permis de sélectionner le bon scénario. Bremen, en Allemagne, vainqueur du prix europén SUMP 2014 pour le suivi de son plan, a réalisé son évaluation ex-ante en trois étapes : une analyse des forces, des faiblesses, des opportunités et des menaces (SWOT en anglais, pour strengths, weaknesses, opportunities and threats), une analyse de scénario à partir de cinq scénarios de “choix extrême”, et une analyse coût-bénéfices en collaboration avec un expert externe. Le meilleur scénario s'est révélé être celui de la promotion des modes actifs (Source: Eltis, voir également les autres études de cas des autres finalistes Gand et Dresden, et le gagnant du prix spécial du jury Thessaloniki). Termes associés :
|
Une tache stimulante pour les villes et les municipalités |
|
 La ville de Brasov, Roumanie  Tallinn, Estonie | Les points de contact nationaux du projet ENDURANCE ont identifié beaucoup de points de vigilance pour les autorités locales en lien avec le suivi, le bilan et l'évaluation des SUMP. Par exemple, Cătălin Frangulea, le coordinateur SUMP de la ville ENDURANCe de Brașov en Roumanie a fait part de manque d'expertise en termes de planification des déplacements et d'évaluation au sein des autorités locales. L'équipe technique doit savoir exactement ce qu'il faut demander aux consultants et attendre de leur part et, encore plus important, cette équipe doit être capable de faire un bon usage des productions – les résultats de suivi et d'évaluation – que leur fournissent les consultants. Les données peuvent être obtenues avec des efforts et des moyens, mais c'est la capacité de les traiter et les analyser qui fait défaut. Notre point de contact national autrichien, l'Agence Autrichienne de l'Energie, a remarqué que les plans locaux de transport et de mobilité incluent rarement des mesures de suivi et d'évaluation. Et même lorsque c'est bien le cas, les approches ne sont pas systématiques mais sont basées sur des exigences individuelles. C'est pourquoi le suivi et l'évaluation ont fait l'objet d'une attention particulière dans la méthodologie et les ateliers proposés par ENDURANCE en Autriche. La ville de Vienne est un bon exemple de processus de suivi en cours et d'études d'évaluation de politiques en soutien au plan de développement urbain (STEP2025). Lire plus à ce sujet Notre point national de contact en Estonie indique que les coûts des études constituent un obstacle. ENDURANCE a soutenu le développement d'une méthodologie détaillée d'enquête de déplacement pour les régions de Tallinn et Tartu, dans le cadre d'un groupe d'expert du ministère Estonien de l'économie et des communications. Cependant un premier appel d'offre a échoué, car les coûts de l'étude dépassaient le budget prévu. Finalement, une étude plus restreinte, qui incluait les déplacements de 4000 résidents de Talinn, a été menée en novembre et décembre 2015 et sera disponible sous forme d'open data. La ville de Tallinn et le gouvernement national ont tous deux coopéré pour pouvoir financer les études, par exemple via Interreg. Les recherches norvégiennes sur l'évaluation de projets d'infrastructures de transport ont montré que des moyens substantiels sont dévolus à l'amélioration des méthodes d’estimation (techniques d'estimation des coûts, modèles de transport, valorisation des effets pour les usagers, etc.) et que la plupart des pays ont développé des méthodologies pour l'analyse coût-bénéfice. De manière ironique, les ressources dédiées aux évaluations ex-post atteignent rarement les montants déployés pour les évaluations ex-ante (Evaluation ex post des projets de transport – retours d'expérience de la Norvège). Une part encore plus importante du travail d’estimation s’appuie sur les opinions des partenaires. L'implication des citoyens et des partenaires est un élément central de la stratégie mentionnée précédemment de Bremen, vainqueur du prix SUMP. C'est également une part essentielle de la boite à outil NISTO qui aide à identifier les synergies et les freins entre différents groupes de partenaires. “L'implication des groupes de partenaires dans le processus d'évaluation et l'utilisation des données de suivi pour informer le public sont deux axes en progression, mais qui restent perçus comme difficile et potentiellement sujets à des pressions de la part de groupes d'intérêt”, a écrit le consortium CH4LLENGE dans son article Pourquoi le suivi et l'évaluation constituent un défi de la planification durable des déplacements? (Why is monitoring and evalution a challenge in sustainable urban mobility planning?). |
Conclusion and recommendations |
|
 Source: www.eltis.org | Le suivi et l'évaluation sont importants pour différentes raisons : la responsabilité et la crédibilité (pour ne pas dire « le rapport qualité prix »), une meilleure prise de décision, une optimisation au fil de l'eau, l’analyse comparative, la confirmation du succès d'un projet – et parfois la mise en évidence des points faibles. Le suivi et l'évaluation devraient être une composante à part entière de la gestion de projet. Puisqu'ils sont souvent négligés, nous vous proposons quelques outils et informations utiles :
|
Evénements à venir |
|
Pour plus d'événements, merci de consulter le Calendrier EPOMM. | |
|
|
|
|
|
|
|