在诈骗案中，若犯罪嫌疑人或被告人确实没有能力退赃，法律有一系列的处理方式和保障机制来确保案件的公正处理以及被害人的权益得到最大程度的保护。以下是对此问题的详细解答：
一、刑事法律层面的处理
量刑考量：
- 退赃是认定犯罪嫌疑人或被告人悔罪表现的重要情节之一。若其积极退赃，法院在量刑时会予以考虑，可能从轻或减轻处罚。
- 若确实无能力退赃，法院在判决时可能会认为其悔罪态度不够诚恳，从而可能判处相对较重的刑罚。但这一判断会综合考虑犯罪嫌疑人的经济状况及整体案情。
财产刑执行：
- 法院会根据案件具体情况判处被告人一定数额的罚金或者没收部分甚至全部财产。即使被告人暂时没钱退赃，判决生效后，司法机关也会依法强制执行罚金和没收财产。
- 对于诈骗所得的财物，司法机关会依法进行追缴。若被告人将诈骗所得转移、隐匿或挥霍，司法机关会继续调查其资金流向和相关资产状况，一旦发现可供执行的财产，会及时采取查封、扣押、冻结等措施，并依法拍卖、变卖相关财产用于退赔被害人损失。
二、民事赔偿层面的处理
附带民事诉讼：
- 被害人可以在刑事诉讼过程中提起附带民事诉讼，要求被告人赔偿因其诈骗行为所遭受的经济损失。即使被告人没钱退赃，被害人也可以通过法律途径主张自己的民事权利。
- 若法院支持了被害人的诉讼请求，但被告人暂无能力履行赔偿义务，被害人可以申请法院强制执行。法院会采取多种措施查找被执行人的财产线索，一旦发现有可供执行的财产，会及时进行处置以实现被害人的合法权益。
另行提起民事诉讼：
- 如果被害人没有在刑事诉讼过程中提起附带民事诉讼，也可以在刑事判决生效后另行提起民事诉讼。在民事诉讼中，被害人需要提供更充分的证据证明自己的损失以及与被告人的诈骗行为之间的因果关系。
- 同样，在获得胜诉判决后，若被告人不履行赔偿义务，被害人可通过申请强制执行来维护自身权益。
三、其他保障措施
信用惩戒：
- 对于有能力履行退赃、赔偿义务却拒不履行的被告人，法院可以将其纳入失信被执行人名单。这会给被告人的生活和工作带来极大不便，促使其主动履行义务。
社会监督与舆论压力：
- 通过公开失信被执行人信息，借助社会力量对其进行监督和约束，形成舆论压力，促使被告人尽快解决退赃和赔偿问题。
社区矫正与社会帮教（针对缓刑等情况）：
- 对于一些符合缓刑条件的被告人，法院在宣告缓刑的同时，可能会要求其接受社区矫正。社区矫正机构会制定个性化的矫正方案，包括督促其积极退赃、赔偿被害人损失等内容。
- 社区、社会组织等也会参与到对被告人的帮教工作中，通过思想教育、心理辅导、提供就业机会等方式，帮助被告人树立正确的价值观和法律意识，增强其履行义务的能力和意愿。
四、对被害人的特别救助
- 刑事被害人救助制度：部分地区设有刑事被害人救助制度，对因诈骗遭受严重经济困难且无法获得退赃的被害人提供救助资金。
- 社会救助与慈善援助：被害人还可寻求社会组织和慈善团体的帮助，获取经济、法律或其他形式的支持。
总结：在诈骗案中，即使犯罪嫌疑人或被告人声称无钱退赃，也不会影响案件的审理和定性。法院会根据实际情况进行量刑，并采取多种措施尽可能保障被害人的合法权益。同时，被害人也可通过刑事被害人救助、社会救助以及民事诉讼等多种途径寻求救济。整个法律体系旨在确保正义得到伸张，被害人的损失得到最大程度的弥补。