结论：在酒席上客人给的钱，如果您不想要并在散席时退还，从法律和人情世故的角度来看，通常是可行的，但具体还需考虑一些细节和可能的情况。

分析说明：

1. 法律角度：

   • 客人给的钱，若视为赠与，则赠与合同一旦成立并生效，原则上赠与人不得随意撤销。但在此情境下，若您明确表示不接受赠与，并在散席时及时退还，这实际上并未形成有效的赠与合同关系，因为赠与需要双方的合意，且受赠人需表示接受。
   • 若客人给的钱被视为一种礼金或贺礼，且没有明确的法律义务要求您必须接受，那么您有权选择不接受并在适当时候退还。

2. 人情世故角度：

   • 在社交场合中，客人给钱往往是一种表达祝福或感谢的方式。如果您直接拒绝，可能会让客人感到尴尬或不被尊重。因此，选择在散席时以一种委婉和礼貌的方式退还，如表达感谢并说明原因，是一个更为妥善的做法。
   • 退还时，可以考虑以红包或其他形式将钱退回，以保持礼节的周全。

特殊场景：

• 如果客人明确表示无需退还：在这种情况下，如果您坚持退还，可能会让客人感到不悦。您可以先表达感谢，并说明您的立场和原因，如果客人仍然坚持，您可以考虑接受并日后通过其他方式回馈客人的好意。
• 如果涉及大量金额或存在其他特殊情况：如客人给的钱数额较大，或者您怀疑这背后有其他目的（如贿赂等），那么您需要更加谨慎处理。在这种情况下，建议您咨询专业人士或相关机构，以确保您的行为符合法律法规和道德规范。

后续行动建议：

• 在退还钱款时，保持礼貌和尊重，避免让客人感到尴尬或不被尊重。
• 如果您对如何处理这种情况感到不确定或困惑，可以考虑与家人、朋友或专业人士（如律师）商量，以获取更多的建议和支持。

相关法规：

• 虽然此情况主要涉及的是社交礼仪和道德规范，而非具体的法律法规，但《中华人民共和国民法典》中关于赠与合同的规定可以为我们提供一些法律上的参考。根据该法，赠与合同是赠与人将自己的财产无偿给予受赠人，受赠人表示接受赠与的合同。若您未表示接受，则赠与合同未成立。

如有其他疑问或需要进一步的法律建议，请直接向我咨询。