结论：在次责结案的情况下，若对方不退钱，您不可以直接拒绝签字结案，但可以通过合法途径维护自己的权益。
分析：
结案签字的意义：
- 结案签字通常意味着双方对案件的处理结果达成一致，并确认无其他争议。一旦签字，即表示您接受了该处理结果，后续再提出异议可能会面临法律上的困难。
对方不退钱的情况：
- 如果对方在结案后未按约定退还钱款，这构成违约行为。您有权要求对方履行退款义务，但这并不意味着您可以直接拒绝签字结案。签字结案与要求退款是两个独立的法律行为，前者是对案件处理结果的确认，后者是对合同义务的履行要求。
合法维权途径：
- 协商：首先，您可以尝试与对方进行协商，要求其按约定退还钱款。协商是解决纠纷的最直接、最经济的方式。
- 调解：如果协商无果，您可以考虑通过调解机构进行调解。调解机构可以提供中立的第三方意见，帮助双方达成和解。
- 诉讼：如果调解也未能解决问题，您可以向法院提起诉讼，要求对方履行退款义务。在诉讼过程中，法院将根据事实和法律规定作出判决。
不签字结案的后果：
- 如果您拒绝签字结案，可能会面临一些不利的法律后果。例如，对方可能会以此为由认为您对案件处理结果有异议，但并未通过合法途径提出，从而可能影响您的信誉或导致其他法律纠纷。此外，拒绝签字结案并不意味着您可以免除对方应履行的义务，如退款等。
建议：
- 在面对对方不退钱的情况时，建议您先保持冷静，通过合法途径维护自己的权益。不要直接拒绝签字结案，而是应该先签字确认案件处理结果，同时通过协商、调解或诉讼等方式要求对方履行退款义务。
后续行动建议：
- 收集相关证据，如合同、付款凭证、沟通记录等，以证明对方未按约定退还钱款。
- 尝试与对方进行友好协商，明确表达您的诉求和期望。
- 如果协商无果，可以考虑通过调解机构进行调解或向法院提起诉讼。
法律背景：
- 根据《中华人民共和国合同法》等相关法律规定，当事人应当按照约定履行自己的义务。如果一方未履行义务，另一方有权要求其履行或承担违约责任。
如果您在保险理赔或建设工程领域遇到类似或其他法律问题，可以直接向我咨询，我将根据您的具体情况提供专业的法律建议。