结论：针对您描述的情况，若对方声称您收了钱但实际上您并未收取，您无需过于担心，但应积极采取措施证明自己的清白，并可以考虑通过法律途径维护自己的权益。以下是从不同角度为您进行的分析和建议：
一、法律角度分析
诬告陷害的法律责任：
- 如果对方故意捏造事实，诬告您收取了钱财，这可能构成诬告陷害。根据《中华人民共和国刑法》的相关规定，诬告陷害他人，意图使他人受刑事追究的，可能会受到刑事处罚。虽然此情况可能不直接涉及刑事追究，但诬告行为本身是不被法律所容忍的。
民事纠纷的处理：
- 若对方仅是在民事纠纷中无端指责您收取钱财，这可能构成对您的名誉权侵害。您有权要求对方停止侵害、赔礼道歉，并可能要求赔偿因此造成的损失。
二、实际操作建议
收集证据：
- 保留沟通记录：保存与对方的所有沟通记录，包括短信、微信、电话录音等，以证明您并未收取对方所说的钱财。
- 寻找证人：如果有目击者或知情人士，可以请他们出具证言，证明您并未收取钱财。
- 银行记录：如果对方声称通过银行转账等方式给您钱，您可以提供自己的银行流水记录，证明没有相应的收款记录。
与对方沟通：
- 在收集到足够证据后，可以尝试与对方进行沟通，明确告知对方您并未收取钱财，并要求对方停止无端指责。
- 如果对方态度强硬，不愿承认错误，您可以考虑通过书面形式（如律师函）向对方发出正式警告。
寻求法律帮助：
- 如果对方持续诬告或对您造成名誉损害，您可以考虑向法院提起诉讼，要求对方承担相应的法律责任。
- 在此过程中，您可以咨询专业律师，了解具体的法律程序和维权策略。律师可以协助您准备证据材料、撰写法律文书，并在法庭上为您辩护。
三、预防措施
增强法律意识：
- 在日常生活中，增强自己的法律意识，了解自己的权利和义务，避免因为无知而陷入不必要的法律纠纷。
谨慎处理纠纷：
- 在处理与他人的纠纷时，保持冷静和理性，避免情绪化行为导致事态升级。
- 尽量通过协商、调解等和平方式解决纠纷，减少法律诉讼的风险。
最后，面对对方的无端指责，您无需过于恐慌或愤怒。通过收集证据、与对方沟通、寻求法律帮助等步骤，您可以有效地维护自己的权益和名誉。如果您在此过程中遇到任何法律问题或需要进一步的帮助，请随时向我咨询。