结论：在诈骗犯被抓后，若存在部分被害人不同意退赔的情况，其他被害人的钱能否退还，需根据具体案情、退赔协议内容以及司法机关的处理方式来综合判断。以下从不同角度进行分析：
一、退赔协议的法律效力与执行
退赔协议的自愿性：
- 如果诈骗犯与被害人之间达成了退赔协议，且该协议是双方自愿、平等、合法的基础上签订的，那么该协议具有法律效力。
- 在这种情况下，如果大部分被害人同意退赔，而只有一人不同意，这并不影响退赔协议对其他同意退赔的被害人的法律效力。
退赔协议的执行：
- 退赔协议的执行通常需要诈骗犯有足够的财产来履行退赔义务。
- 如果诈骗犯的财产不足以退赔所有被害人，那么司法机关可能会根据被害人的损失情况、诈骗犯的犯罪情节等因素，按照一定比例进行退赔。
- 在这种情况下，即使有一人不同意退赔，也不影响其他被害人按照比例获得退赔的权利。
二、司法机关的处理方式
追缴与退赔：
- 司法机关在办理诈骗案件时，会依法追缴诈骗犯的违法所得，并退赔给被害人。
- 如果诈骗犯的财产被追缴后，司法机关会组织被害人进行退赔。在这种情况下，退赔是司法机关的职责，不受个别被害人是否同意的影响。
调解与协商：
- 在退赔过程中，司法机关可能会组织被害人进行调解或协商，以达成退赔协议。
- 如果大部分被害人同意退赔，而只有一人不同意，司法机关可能会继续做工作，尝试说服不同意退赔的被害人，或者根据实际情况调整退赔方案。
- 如果最终无法达成一致，司法机关可能会根据法律规定和案件实际情况，作出相应的处理决定。
三、个别被害人不同意退赔的影响
对整体退赔进度的影响：
- 个别被害人不同意退赔可能会在一定程度上影响整体的退赔进度，但通常不会阻止其他被害人获得退赔。
- 司法机关会尽力协调各方利益，确保退赔工作的顺利进行。
对个别被害人权利的影响：
- 如果个别被害人坚持不同意退赔，且其理由不充分或无法得到司法机关的支持，那么其可能会错过获得退赔的机会。
- 同时，如果其他被害人已经获得了退赔，而该被害人后来又改变主意要求退赔，可能会面临一定的法律障碍和实际困难。
建议与行动指南：
对于被害人：
- 如果您是诈骗案件的被害人，且希望获得退赔，建议积极与司法机关沟通，了解退赔进展和方案。
- 如果您对退赔方案有异议或不同意退赔，建议及时向司法机关提出，并说明理由和依据。
- 同时，您也可以考虑与其他被害人协商，共同寻求合理的退赔解决方案。
对于诈骗犯及其家属：
- 如果您是诈骗犯或其家属，且希望为被害人进行退赔以减轻诈骗犯的刑事责任，建议积极与被害人沟通，达成退赔协议。
- 在退赔过程中，务必确保退赔的自愿性、合法性和有效性，避免引发新的法律纠纷。
对于司法机关：
- 司法机关在办理诈骗案件时，应依法追缴诈骗犯的违法所得，并退赔给被害人。
- 在退赔过程中，应充分尊重被害人的意愿和权利，确保退赔的公平、公正和合法。
- 同时，也应积极协调各方利益，推动退赔工作的顺利进行。
如有更多疑问或需要进一步的法律帮助，请直接向我咨询。