核心结论：做义工忘记现场退签，回来才退，这一行为是否算数，主要取决于义工活动的具体规定以及组织方的要求。若组织方有明确规定必须现场退签，则回来退签可能不被认可；若组织方未明确规定，则回来退签应被视为有效。

分析说明：

1. 义工活动的规定：不同的义工活动可能有不同的签到和退签规定。一些活动可能要求义工必须现场签到和退签，以确保活动的顺利进行和义工的出勤记录。在这种情况下，如果义工忘记现场退签，回来再退可能会被视为无效，因为组织方可能无法准确记录义工的出勤情况。

2. 组织方的要求：除了义工活动的规定外，组织方还可能对签到和退签有特定的要求。如果组织方明确要求义工必须现场退签，那么回来退签就不符合组织方的要求，可能会被视为未履行义工职责或违反活动规定。

3. 特殊情况的处理：然而，也有一些义工活动或组织方可能更加灵活，对于忘记现场退签的义工，允许其在活动结束后或一定时间内回来退签。在这种情况下，回来退签应被视为有效，因为组织方认可了义工的出勤记录，并给予了补签的机会。

法律建议：

• 在参与义工活动前，建议仔细阅读活动规定和组织方的要求，了解签到和退签的具体流程和要求。
• 如果忘记现场退签，建议及时与组织方联系，说明情况并询问是否可以回来退签或采取其他补救措施。
• 如果因忘记退签而产生纠纷或争议，可以寻求法律援助或咨询专业律师（如王力群律师）以维护自己的合法权益。

行动指南：

• 确认义工活动的签到和退签规定以及组织方的要求。
• 如忘记现场退签，及时与组织方沟通并寻求解决方案。
• 保留好相关证据和记录，以备不时之需。