结论：是否需要退钱取决于多个因素，包括挪用公款行为的性质、你们是否知情以及赌博行为的合法性等。以下从不同角度进行分析：
一、挪用公款行为的性质与责任
挪用公款罪的构成：
- 如果你的朋友挪用公款用于赌博，且数额较大、超过三个月未还，或者虽未超过三个月但数额较大、进行营利活动，或者进行非法活动，那么他的行为可能构成挪用公款罪。
- 根据《中华人民共和国刑法》第三百八十四条，挪用公款罪将受到刑事处罚，包括有期徒刑、拘役等。
挪用公款用于赌博的特殊性：
- 赌博在我国是非法活动，因此挪用公款用于赌博不仅违反了财务管理制度，还违反了法律法规。
- 如果你们明知朋友挪用的是公款而仍然与其赌博，并因此获得了利益（如赢钱），那么你们可能在一定程度上涉及了共同违法或犯罪行为（具体需根据实际情况判断）。
二、你们是否需要退钱
如果你们不知情：
- 如果你们在赌博时并不知道朋友使用的是挪用的公款，且没有其他违法行为，那么从法律上讲，你们没有义务退还因赌博而输掉的钱。
- 但需要注意的是，赌博行为本身是违法的，即使你们不知情，也可能面临行政处罚（如罚款、拘留等）。
如果你们知情：
- 如果你们明知朋友挪用的是公款而仍然与其赌博，并因此获得了利益（如赢钱），那么你们可能需要退还这部分利益。
- 此外，如果你们的赌博行为被认定为共同违法或犯罪行为的一部分，那么你们还可能面临刑事处罚或更严重的法律后果。
三、法律建议
立即停止赌博行为：
- 无论你们是否知情，赌博都是违法的，且可能导致严重的法律后果。因此，我建议你们立即停止任何形式的赌博行为。
积极配合调查：
- 如果你们的朋友已经因挪用公款罪被立案侦查，那么你们可能需要配合相关部门的调查工作。
- 在配合调查时，请如实陈述事实，不要隐瞒或歪曲真相。
寻求法律帮助：
- 如果你们对法律问题存在疑问或担忧，我建议你们及时咨询专业律师（即向我咨询），以便更好地了解自己的权利和义务，并采取合适的法律措施来保护自己。
总结：是否需要退钱取决于你们是否知情以及赌博行为的合法性等多个因素。无论如何，我都建议你们立即停止赌博行为，并积极配合相关部门的调查工作。如果你们对法律问题存在疑问或担忧，可以直接向我咨询，我会根据你们的实际情况提供具体的法律建议。