编者按：
壹基金儿童服务站是好公益平台优质公益产品。项目针对6～15岁留守和流动儿童，以儿童发展和保护为核心，搭建社区儿童服务平台，保障儿童基本权利，助力儿童身心发展。
为了对项目的执行情况、干预成效，以及其可持续发展存在的问题进行全面、客观的评价，壹基金对2018～2020年的儿童服务站项目进行评估招标，邀请第三方评估机构对其成效进行评估。本文以该项目评估为例，介绍实施项目成效评估的关键步骤和方法。
什么是项目成效和影响力评估
项目成效和影响力评估是一个系统分析项目是否带来持续或显著变化的过程，通过这个过程验证干预活动与项目可见变化间的逻辑关系。评估是客观分析项目成败的过程，因此在分析项目干预活动带来变化时，不仅要包括正向的变化，还应包括负向的变化。评估将分析项目对受益人或组织是否带来明显或持续的改变，公众、政策是否因此有所改变，项目是否带动了更大规模或者系统性的行动来改进现有的问题等。项目评估与项目监测有着密切的关系，统称项目监测评估（M&E，monitor and evaluation）。
项目成效评估通过分析项目干预逻辑、设计评估方案、确认可调查的成效指标（VOI）、多维度收集信息与数据、分析数据并呈现项目成效五大步骤来实现。首先，要讨论项目的变革理论，梳理清楚项目的逻辑框架，了解评估的主要目的是什么，明确为谁评估、评估的重点内容及时间区间是什么。其次，要通过阅读项目计划书、项目活动记录及中期报告等深入了解项目内在的逻辑，包括项目关注的问题，干预活动或任务，需要达成的目标；识别衡量干预活动成效的指标是什么；分析资金和资源的分配情况。其三，与重要利益相关方沟通，设计信息与数据收集方案；其四，用系列方法收集质性和量化数据，并做初步分析，提出洞察与发现，并听取利益相关方的建议与反馈，需要时做进一步分析。最后，草拟报告，与利益相关方沟通完善评估报告。值得注意的是，不同利益相关方对项目成效的定义并不完全一样，同样一个项目，联合国机构会看重可持续发展目标（SDGs）的达成情况，社会组织可能会关注机构和项目战略目标是否达成，例如儿童救助、环境灾害救助；项目执行伙伴则可能会更关心项目受益人的情况是否得以改善。因此评估前应与利益相关方充分沟通，明确评估目标与重点。成效评估的路线图参见图1。
下面以壹基金儿童服务站项目评估为例，介绍如何实施项目成效评估。壹基金儿童服务站评估经过了评估方案设计与确定、评估工具设计、数据收集与分析后产出了评估报告，其主要步骤参见图2。
分析/建立项目干预的逻辑有助于我们分析项目投入的资源、了解设计的干预活动能否解决项目想解决的社会问题，以及它们之间是否存在逻辑相关性。理论上，干预逻辑理应在项目设计之初就梳理清楚，但由于种种原因，项目设计之初这项工作做得并不完善，所以在评估前一般会回顾项目的逻辑，把它变成公开的、可用于检查和问责的逻辑框架进行呈现。
评估团队通过分析儿童服务站项目资料，访谈项目利益相关方，并结合相关文献和项目执行的客观情况，呈现了儿童服务站项目的逻辑框架，如图3所示。
图3-儿童服务站项目逻辑框架
图3呈现儿童服务站项目要解决的问题、干预策略、项目中、短成效及长期成效目标。项目通过在其落地的社区搭建儿童服务站，聘请专职儿童服务工作者为留守和流动儿童提供基本陪伴或更专业的服务，如开展各类兴趣活动、安全教育等；项目也将行业发展、议题倡导作为要解决的问题。在行业发展方面，项目通过向社会组织提供能力培训、项目执行与督导等赋能活动，培育儿童社会工作服务组织及专业人员。在议题倡导方面，则通过引入传播资源，支持伙伴开展社区宣传、公众传播、政府动员、行业论坛等，以引起政府和公众关注留守、流动儿童议题，从而获得更多的支持。评估方案设计前，首先要与各利益相关方沟通，厘清评估的主要目的，明确评估方对于项目成效的界定，设计相对应的评估方案，并选择适合的调查工具。然后，分析项目资料和相关信息，确认哪些维度呈现项目已成功实施，已取得哪些短期可见的成效，中长期还可能产出什么样的影响力。评估方案与指标设计帮助我们回答以下几个问题：项目是否按计划执行？项目是否达到预期的目标？通过什么事实或数据来证明项目是有效的？好的调查方案设计最好与项目多个利益相关方讨论，评估的调查数据应基于项目工作，所有调查应该有时间节点。在设计儿童服务站评估方案时，评估团队组织了各利益相关方，包括服务站项目各层级的执行者和管理者，基层站点的儿童专职、省级儿童专岗、全国项目组工作人员，以及壹基金项目部门和评估部门的代表，定期组织会议，听取各方对评估方案和测量工具的意见。会议前，评估团队会准备供讨论的议题和材料，主持及引导参会者发言，并参考各方意见进行评估方法与工具的迭代。每次会议讨论都围绕一个主题，包括评估需求的界定、对项目的理解、逻辑框架梳理、指标细化以及具体的测量工具和操作方法等方面。通过与利益相关方的充分沟通，最终形成了评估方案的框架。基于评估框架设计了儿童议题（受益人）、行业发展（NGO组织能力）和公众及政策倡导三大评估维度，明确了本次评估重点为儿童议题，行业发展及公众倡导分别次之，详见图4。
理论上，项目设计时就应该梳理出项目成效指标（VOI，verifiability object indicator ）。但现实往往不是这样。成效指标应基于项目干预逻辑，不能凭空出现。从图5中可以看出，本次评估首先分析了项目干预活动、项目成果及成效间的关系，并以此为评估的逻辑框架。问卷调查的内容也是以此逻辑框架为基础，以科学测量为出发点，选用已被相关研究证实有效的内容或测量指标。
项目评估方案确定后，再确认哪些维度和指标能呈现项目的成效，并通过调查工具收集与成效相关的信息。本文主要围绕儿童服务站项目在儿童议题方面如何开展成效评估，验证项目对于儿童带来的改变。项目在行业发展及公众意识提升方面的成效不在此文赘述。儿童服务站项目评估重点针对受益儿童在安全、心理、多元化发展方面的变化设计了儿童安全版和心理健康版调查问卷，调查站点儿童在安全知识与行为，以及心理健康等方面是否因参与儿童服务站的活动而受益。通过问卷数据分析受益儿童在安全和卫生方面的认知有无提升，故意及意外伤害有无减少，卫生行为有何改善，受益儿童因陪伴缺失造成的心理问题是否得到缓解，受益儿童获得多元的教育机会、综合素质是否有所提升，从而验证项目对儿童在安全、心理健康及多元发展方面的干预有无成效。
1）以科学测量为出发点，选择被研究证实的该领域的重要内容或测量指标、寻找合适的量表以及参考其他类似的国际评估案例；2）保证评估指标与项目活动内容的逻辑对应，例如服务站的教育成效测量针对站点传授的内容领域而设计；3）考虑到儿童特性，问卷题目数量和题型设置要适合儿童的理解力和注意力。为了保证调查质量，评估团队将形成的问卷和调查工具进行了试调研，了解问卷调查的可行性，并针对调查中发现的问题进行调整，从而保证问卷回收的有效性及回收率。评估调查的问卷兼顾了询证调查的科学性与可行性、利益相关方参与的视角全面性、儿童对问卷的可理解性等多重因素。测量干预成效一般要用基线调查、干预前后对比、纵向研究、控制组与非控制组、影响力地图等工具。这些方法各有优劣，在评估方案工具选择时也要综合考虑成本、时间、质量和利益相关方的配合度等因素进行选择。传统的信息收集工具包括问卷和定量数据收集等；对于不可量测，不可计数的内容，评估时会用访谈、实地调查、工作坊、焦点小组、项目故事、成效地图、案例研究和项目报告分析等工具进行项目相关数据收集。儿童服务站评估通过量性及质性相组合的方法，针对不同的利益相关方，综合应用了问卷调查、电话访谈、实地个人和小组访谈和实地观察等多种信息收集工具。截至2020年，儿童服务站项目先后在25个省（自治区、直辖市）、171个市、427个区县，建立了1,162个站次的站点，儿童受益人次4,903,543人次。此次评估由于成本所限，不可能调查所有站点和受益人。基于观察—资金—时间三个维度，为验证干预的有效性，选取了前后测和控制组与非控制组等多种方法，兼顾城乡站点，1年至4年的站点均有抽调。本次评估共计收到来自413个站点（占现存所有站点数量的78%）的儿童问卷；实地走访9省27个运行多年的站点，占老站点总数的10%。站点筛选维度包括各省（自治区、直辖市）的站点数在全国的占比、站点年限、站点所在的社区类型、站点儿童问卷数据的分析结果等。需要注意的是，在评估过程中要兼顾“正式指标”和“非正式指标”。正式指标是指与项目干预、项目目标有逻辑相关性的指标。因为各利益相关方除关注项目总目标外，往往会有侧重地收集一些设计时没有考虑到的目标或指标，它们可能与项目干预无关，但可能是项目的意外收获，最好不要忽略。评估团队在儿童服务站实地调查中，发现一些有特色的站点，其经验具有推广价值，但这些发现属于非正式评估的内容。为了推广好的经验，以便项目更好发展，评估团队在评估报告中以优秀案例的形式加以呈现，参见图6。
基于收集到的信息，分析其与项目关注的社会问题—干预行动—项目产出与成效间的逻辑关系，从而验证项目是否按此逻辑实施，不同利益相关方提供的数据是否能说明项目产生了效果，项目成效是否会持续并形成影响力等结论。分析时不要局限于利益相关者的视角，而需要从项目外部看项目干预是否带来可见的变化。评估报告是评估结论的重要载体，其核心内容要呈现项目计划的目标是否达成，产生了什么效果，还会有什么影响力；综合分析项目存在哪些问题，目标没有达成的原因是什么，并给出项目的后续发展建议。优质的评估报告能清晰呈现评估调查的结果，报告不应是调查数据的堆积，应结构完整、逻辑清晰、文风易读、长度适合。儿童服务站评估报告，上述内容都覆盖到了。有兴趣的读者可以点击下方“阅读全文”查阅报告全文。（本文作者熊晓芹，深圳壹基金公益基金会研究与评估部主任；刘川钰，深圳壹基金公益基金会儿童关怀部项目主管。封面图片摄影：田卫涛）
