面对对方退还房款却迟迟不退的情况，您可以按照以下步骤来处理，以保障自己的合法权益：
一、查看合同约定
首先，您需要仔细研究与对方签订的合同条款，特别是关于退房退款的具体规定。这包括退房的条件、退款的时间、退款的方式以及违约责任等内容。如果合同中明确规定了退房退款的相关条款，而对方却拒绝履行，那么您有权主张对方违约，并要求其按照合同约定进行退款。
二、友好协商沟通
在确认合同约定后，您可以尝试与对方进行友好、积极的沟通。清晰陈述您的退房原因以及合理的退款诉求，要求对方依据合同进行退款。在沟通过程中，建议您保留好相关的聊天记录、通话录音等证据，以备后续使用。这些证据在后续的调解或法律程序中可能会起到关键作用。
三、寻求第三方调解
如果友好协商无果，您可以考虑向相关部门或第三方调解机构求助。例如，您可以向房地产管理部门、消费者协会等机构反映情况，请求他们介入调解。这些机构通常具有专业的调解能力和经验，能够促使双方达成一致的退款意见。
四、法律途径维权
如果上述方法均无法解决问题，那么您可能需要考虑通过法律途径来维护自己的权益。具体来说，您可以准备以下证据材料：
准备好这些证据材料后，您可以向法院提起诉讼，要求对方退款并承担可能的违约责任。在诉讼过程中，您需要遵循法律程序，提供充分的证据来支持自己的主张。
五、注意法定时效期限
在采取法律途径维权时，您还需要特别注意法定时效期限。根据《中华人民共和国民法典》等相关法律规定，诉讼时效期间通常为三年。因此，您需要在法定的时效期限内提起诉讼，否则可能会丧失胜诉权。
综上所述，面对对方退还房款却迟迟不退的情况，您可以通过查看合同约定、友好协商沟通、寻求第三方调解以及法律途径维权等步骤来处理。希望这些建议能够对您有所帮助。