针对您提出的“离职之后要把收回来的份子还回去吗”这一问题，我们需要从法律、习俗以及实际情况三个维度来进行详细分析。

首先，从法律角度来看，份子钱在法律上通常被视为一种赠与行为。根据《中华人民共和国民法典》中关于赠与的规定，赠与人在赠与财产的权利转移之后，一般不能随意撤销赠与，除非存在法定撤销或任意撤销的特定情形。在您离职的情境下，除非能证明收受份子钱的一方存在严重侵害赠与人或其近亲属合法权益、对赠与人有扶养义务而不履行、或不履行赠与合同约定义务等法定撤销情形，否则，已经赠与的份子钱在法律上是不需要返还的。

其次，从习俗角度考虑，份子钱往往与民间习俗紧密相连。在很多地区，随份子被视为一种礼尚往来、维系感情的方式。如果当地习俗中并没有明确规定离职后需要返还份子钱，那么从习俗的角度来看，也没有强制要求返还的依据。当然，如果双方在随份子时有明确的约定或期望未来在特定情况下（如离职）会返还，那么这可能会成为一种习俗上的约束，但这种情况相对较少。

最后，从实际情况出发，是否返还份子钱还需要考虑双方的关系、离职的原因以及个人的道德观念。如果双方关系融洽，且离职并非因为严重矛盾或纠纷，那么从人情世故的角度来看，可能没有必要要求返还份子钱。反之，如果离职是因为严重的不愉快或矛盾，且双方关系已经破裂，那么是否要求返还份子钱就可能成为双方争议的一个点。但即便如此，从法律和习俗的角度来看，也并没有强制要求返还的依据。

综上所述，离职之后是否要把收回来的份子还回去，并没有一个明确的法律或习俗上的规定。这主要取决于双方的关系、离职的原因以及个人的道德观念。在大多数情况下，份子钱被视为一种赠与行为，且已经完成了财产权利的转移，因此不需要返还。当然，如果双方有明确的约定或当地习俗有特别规定，那么就需要按照约定或习俗来处理。