若租赁合同被认定为无效，已使用的房租确实有可能需要退回。以下是对此问题的详细分析：
合同无效的法律后果：
- 根据《民法典》的相关规定，合同一旦被判定无效，那么因该合同获取的财产必须返还。在租赁合同中，已履行部分的租金属于因无效合同取得的财产，因此，理论上出租方应返还给承租方已支付的租金。
实际退还金额的判定：
- 退还金额会根据双方的过错程度进行调整。如果承租方对合同无效存在过错，比如明知房屋有问题仍签订合同等，出租方可能会适当减少应退还的租金数额。
- 相反，若出租方存在过错，如提供的房屋不符合安全标准或未取得合法出租手续等，承租方要求全额退还租金的诉求更有可能得到支持。
双方协商与诉讼解决：
- 建议双方首先通过协商的方式解决租金退还问题。若协商不成，可通过诉讼等法律途径解决。
- 在诉讼过程中，法院会依据具体事实和证据来判定租金的返还情况，包括承租人在承租时是否仔细查看房屋相关手续、是否对房屋状况进行了合理了解等细节。
综上所述，若租赁合同被认定为无效，已使用的房租确实有可能需要退回，但具体退还金额需结合双方的过错程度及实际情况进行综合判定。如有进一步疑问或需要法律帮助，请直接向我咨询。