写在前面：

项目评估是助力项目质量提升的重要工具，也是对外呈现项目成效和透明度的主要方法之一，但是因其复杂、成本高和模式多等特点，使得公益伙伴在选择评估方法和应用评估结果上存在相当的挑战。

上海纽约大学金敏超博士曾在《公益项目为什么要做“评估”？怎样评估？》中指出，通过“因果链”分析可以帮助项目方清楚地了解自身项目的问题和需求，形成相应的评估方案，最终助力项目质量的提升。

好公益平台已经推出了不同伙伴开展项目自评估的案例。本期以“义仓一勺米”项目为例，从项目背景、项目目标、评估方案等方面详细介绍了项目开展自评估的过程和复盘。期待您的阅读。

 一、项目介绍 

义仓主要针对城市社区“邻里关系疏离、社区公共生活匮乏”的社会问题，以中国传统慈善文化为基底，广泛地动员居民参与社区公共生活，促进邻里的信任、互动，并建立自愿、互动、利他的行为方式，提升社区社会资本，以推动邻里之间提供及时、低成本补充性公共服务。

一勺米公益行动是义仓的子项目，设计灵感来自于百家饭。该项目针对邻里关系疏离的现状，通过邀请社区的儿童及家长以“你好，邻居”公益挑战赛的形式，敲开9户陌生邻居家的门募集一勺米，同时并邀请邻居参与分食百家粥公益活动。以此，促进邻里的认识和互动，激发他们邻里互动的意愿。项目因果链如下：

△点击可查看大图

 二、评估目标 

验证“一勺米模块是否可以提升居民邻里互助的意识，促进邻里的认识和互动”。

（一）实验设计

采用准实验设计的方法。在某社区，选择AB两个小区，要求居住规模、小区性质、楼盘价格接近，且一栋楼至少有100户，小区至少有10栋以上。A小区为实验组，B小区为对照组。

（二）抽样方案

在试验小区公开招募24组亲子家庭，报名家庭自动成为样本。样本随机分为A1组实验组（志愿者），A2对照组（志愿者）。A1组有12组挑战者，每组拜访9户邻居，共计108户次。

（三）测量方法

测量的对象为报名参与一勺米公益行动的邻居和志愿者。通过问卷的形式，让邻居和志愿者在一勺米活动开始前7天填写前测问卷，在活动结束后15天、30天分别填写后测问卷。测量的内容包括：

1、对邻里互助的必要性的认识；

2、对邻居姓或姓名或别名的知晓度；

3、邻里互动话题的广度、深度。

具体测量方法如下：

1、A小区为实验组，随机选择6栋楼，每两组拜访一栋楼，一组是1楼到中间楼，另一组是顶楼到中间楼。被选中的楼栋居民为a（邻居）；

2、活动开始前七天A1组实验组（志愿者），A2对照组（志愿者）都实施前测；

3、A小区对照组，未被选中的楼栋A3，随机抽取不少于30户进行对照；

4、B小区对照组，随机抽取30人，作为对照组，开始前、执行后都进行评估。*

A1组实验组（志愿者）、A2对照组（志愿者）、a（邻居）、A3（邻居）、B（邻居）在一勺米活动开始前7天、活动结束后15天和30天分别填写问卷。

经过上述测量，可得到以下4组数据，可进行对比分析：

1、A、B两小区的对照数据；

2、A1组和A2组的对照数据；

3、A2组和A3组的对照数据；

4、A1组和A3组的对照数据。

 三、评估工具 

《邻里关系现状前测问卷（志愿者/邻居使用）》

引导语：

您好，我们是XX社区的居民，我叫XX，我们是一个社区的邻居。我和家人现在正在参加一勺米公益活动，这个活动主要是关注“邻里关系”，以推动邻里互助。为了让活动主办方更好地了解邻里关系的现状，我需要您的帮助，进行此次调查问卷。您所填写的信息，我们将严格保密，请您放心填写。

1、您的年龄：    

2、您的性别：

  A男    B女

3、目前，在您所在的小区，认识多少个邻居？        

         能叫出        个邻居的姓或姓名或者别名或者有微信

3、目前，在您所在的小区，您是否会邀请邻居一起活动？  是   否

         大概的频率是        次/月

5、目前，在您所在的小区，你和邻居谈论最多的话题主要是？

关于吃玩（含旅游）    关于教育（含育儿）    关于工作（含创业）  

关于家庭情感     关于社区/社会/政府

6、现在国家保障完善，每个人都有社保,你需要的东西或者服务，市场上几乎都能买得到，包括陪伴和关心。过好自己的生活就好！这是很多人的想法。那邻居之间还有互相帮助、相互交流的必要吗？如果需要那最主要的三个原因是什么？分别用三句话概述。

《邻里关系现状后测问卷（志愿者/邻居使用）》

引导语：

您好，我们是XX社区公益项目工作人员，我叫XX。我们在对一周前在你们小区开展敲门募米的公益活动进行回访，我需要您的帮助，进行此次调查问卷。您所填写的信息，主要用我们项目研究使用，我们将严格保密，请您放心填写。

1、您的年龄：    

2、您的性别：

  A男    B女

3、目前，在您所在的小区，认识多少个邻居？        

         能叫出        个邻居的姓或姓名或者别名或者有微信

4、【评估邻居填写】一勺米公益活动中，募米的志愿者给你介绍他的姓名了吗？

    有   没有   如果介绍了，他叫什么     （可以是姓或名，也可以是别名）

【评估志愿者填写】一勺米公益活动中，你还记得    个邻居的姓/名/别名？他们分别是                                                  

5、一勺米，敲门募米的公益活动之后，您有新认识的邻居吗？有   没有

如果有，新认识了有几个邻居？       

6、目前，在您所在的小区，您是否会邀请邻居一起活动？  是   否

      大概的频率是        次/月，

7、目前，在您所在的小区，你和邻居谈论最多的话题主要是？

关于吃玩（含旅游）    关于教育（含育儿）   关于工作（含创业）  

关于家庭情感          关于社区/社会/政府

8、参与一勺米公益活动是否对您邻里关系有影响    是   否

9、现在国家保障完善，每个人都有社保,你需要的东西或者服务，市场上几乎都能买得到，包括陪伴和关心。过好自己的生活就好！这是很多人的想法。那邻居之间还有互相帮助、相互交流的必要吗？如果需要那最主要的三个原因是什么？分别用三句话概述。

问答题说明

现在国家保障完善，每个人都有社保,你需要的东西或者服务，市场上几乎都能买得到，包括陪伴和关心。过好自己的生活就好！这是很多人的想法。那邻居之间还有互相帮助、相互交流的必要吗？如果需要那最主要的三个原因是什么？分别用三句话概述。

有必要。

1、安全居住环境，需要大家互相参与。而邻里之间相互认识，也会我们更有安全感；

2、突发状况或陷入困境，邻里帮衬有时候更加便捷和及时，相比市场购买服务、子女解决；

3、认识邻里和邻里交往，是我们社会性的一部分，人天生需要社交，也是我们情感的需要。

评分标准：1分/个，共计3分。

四、案例分析和讨论 

1、确定评估目标

义仓是一系列子项目的合集，这些项目之间有联系，但也相对独立；这和其他项目有很大的不同。其次，义仓的最终目的是“促进邻里的信任、互动，并建立自愿、互动、利他的行为方式，提升社区社会资本，以推动邻里之间提供及时、低成本补充性公共服务”。一方面这一目标比较抽象，变成可操作的指标有很大的挑战，另一方面项目目标的最终实现可能会需要相对久的时间。因此，评估整个义仓项目是非常困难的，现实的自评估策略是选取其中某个相对关键的子项目模块。

经过讨论，项目团队选择了“一勺米”子项目作为自评估的对象。“一勺米”不仅是义仓项目的固定模块，而且往往是用于“破冰”的第一个模块。该模块的目标——促进邻里的认识和互动，激发他们邻里互动的意愿——操作化也相对容易，所以自评估的目标就是验证“一勺米”是否可以“促进邻里的认识和互动，激发他们邻里互动的意愿”。

2、因果关系验证

自评估目标中包含的因果关系非常明显，所以理论上需要用随机控制实验或者准实验设计来验证。通过进一步分析，“一勺米”模块的起效机制并不局限于参与项目的志愿者，而包括了被敲开门的邻居，甚至是其他邻居，形式类似于“涟漪效应”，参见下图：

 △点击可查看大图

也就是说，“一勺米”有三种潜在受益群体，其受益的机制各不相同。在这样的情况下，不管是随机控制实验还是准实验设计都需要至少设置四个组，即“一勺米”志愿者组、被“一勺米”志愿者敲开门的邻居组、未参加“一勺米”活动的附近的邻居、其他人——零干预组。

在自评估方案中，项目方选择了两个相似的小区，其中一个小区进行“一勺米”活动，将报名志愿者随机分为两组，一组为参与“一勺米”的志愿者，一组为控制组。项目方会对报名志愿者（不管是否最后成为“一勺米”的志愿者）、随机被敲开门的邻居、随机抽取的未被敲开门但是在进行了“一勺米”小区居住的居民、随机抽取的未进行“一勺米”小区的居民，进行数据收集。也就是说，自评估方案中除了上述要求的至少四个组外，又特别为参与“一勺米”活动的志愿者设置了控制组。因为让项目方随机选择居民参与“一勺米”活动是有困难的；而主动报名“一勺米”活动的志愿者，相对于一般居民，其对于邻里互动的意愿可能自然就高；所以，必须选择同样报名志愿者的居民作为对照组，才能验证“一勺米”活动自身有否进一步增加志愿者对于邻里互动的意愿。可以说，项目方这样的设计是比较严谨的。如果可以保证两个小组的相似度很高，那么这个设计就是一个质量较高的随机控制实验。如果相似度低，那么设计会降为质量较高的准实验设计。

3、测量和数据收集

如何测量评估目标，讨论的另一个重点。评估目标——“促进邻里的认识和互动，激发他们邻里互动的意愿”——的关键词是：“认识”、“互动”和“意愿”，如何将它们变成具体可测的指标？“认识”是了解很多、是知道名字、是面熟、还是其他？很显然没有约定俗成的答案，学术界也没有，只能说不同的场景下，有不同的答案。这个问题也让项目团队有机会深入思考自己的项目定位和设计。

另外一个思考途径则是，如果说“认识”是为之后的“互动”打下基础，那么应该“认识”到什么程度？在这样的思路之下，项目团队认为，“认识”应该是“可以叫出邻居的名字或别名，或者加了邻居的微信；并据此设计了相应的测量。

另一个有趣的讨论则是围绕着关键词“意愿”。“意愿”是一种主观态度，直观的测量方式是直接问受访者“是不是有‘意愿’”。给测量造成误差的因素中，有一个是社会期许，即受访者会倾向于给出大众认为的正向答案，例如本项目场景下的邻里互动，正是大众期待的；所以，如果直接问，那么得到的数据可能会高估受访者邻里互动的意愿。测量意愿的替代方案，可以是测和意愿相关的行为或者知识，例如，邻里互动是否发生了，为什么要有邻里互动。此方案中的测量工具正是应用了这样的思路，虽然这依然无法完全避免社会期许带来的测量误差，但是理论上会比直接问意愿误差要小一些。

测量工具还询问了受访者和邻居交流的话题，背后是对于“义仓”整个项目目标的探索性考量。义仓的最终目标是“提升社区社会资本，以推动邻里之间提供及时、低成本补充性公共服务”；邻里互动的内容是否导向“邻里之间提供及时、低成本补充性公共服务”，也许可以从一定程度上表征“一勺米”模块是否有助于实现“义仓”项目的目标。不过，选项的设置建议还需要进一步思考，或许可以更贴近“及时、低成本补充性公共服务”的类别。

五、小结 

“以终为始，运用定语”，是义仓项目团队这次参加好公益平台规模化学院评估课程学习最大的收获。具体来讲，“以终为始”是从针对的社会问题所制定的解决方案最终要达到的效果或者“目的地”。“运用定语”是指针对所能达到的程度，用限定词去描述那个状态。结合义仓项目，原则上确定“睦邻友好，守望相助”善治社区为终点，也通过这个终点用“邻里之间、有序自治、及时、便捷、有温度、补充性、公共服务”这些词去理解达到目的地的过程。