拿钱的人（即实际使用或占有挪用公款的人）在法律上确实有义务退回该款项。以下从不同角度为你详细分析：

法律义务角度

从法律义务的角度来看，挪用公款是一种违法行为，它侵犯了公款的合法使用权和所有权。当公款被挪用并交给其他人使用时，拿钱的人实际上成为了这笔非法所得的占有者或使用者。根据法律原则，非法所得应当被追缴并返还给合法所有者或受害者。因此，拿钱的人有义务退回这笔款项，以恢复公款的合法状态。

刑事责任角度

1. 挪用公款者的责任：挪用公款者本身已经构成了犯罪，需要承担相应的刑事责任。这通常包括有期徒刑、罚金等刑罚。

2. 拿钱者的可能责任：如果拿钱的人明知款项是挪用而来的，却仍然接受并使用，那么他/她也可能构成共犯或从犯，需要承担相应的刑事责任。即使拿钱的人不知道款项的来源，但在发现款项非法后，仍然有义务退回，否则可能面临法律追责。在极端情况下，如果拿钱者将挪用的公款用于非法活动或者拒不退还，还可能构成其他犯罪，如贪污罪、拒不退还挪用资金罪等，从而面临更严重的法律后果。

实际操作角度

在实际操作中，一旦挪用公款的行为被发现，相关部门（如公安机关、检察机关等）会介入调查，并追缴非法所得。拿钱的人需要配合调查，并主动退回款项。如果拿钱的人拒不配合或拒不退还，相关部门会采取强制措施，如冻结银行账户、查封财产等，以确保款项能够被追回。

建议与提醒

1. 主动退回：如果你或你身边的人涉及此类情况，建议主动退回挪用的公款，以减轻法律责任和避免更严重的后果。

2. 配合调查：在相关部门介入调查时，要积极配合，提供必要的证据和信息，以加快案件的处理进程。

3. 寻求法律帮助：如果你对法律程序或自己的法律责任有疑问，建议及时咨询专业律师，以获取更准确的法律建议和帮助。

如果你或你身边的人涉及挪用公款的问题，有任何疑问或需要进一步的法律帮助，请直接向我咨询。