结论概述：房屋代持人是否需要退回所持有的房屋，取决于其是否构成善意取得以及是否存在其他法定或约定的返还情形。若代持人不知中介诈骗且符合善意取得条件，一般无需退回；但若存在其他法定或约定情形，则可能需要退回。

详细分析：

1. 善意取得的角度：

   • 根据《中华人民共和国民法典》的相关规定，善意取得是指无权处分人将其受托占有的他人的财物转让给第三人的，如受让人在取得该财物时系出于善意，则受让人取得该物的所有权，原权利人丧失所有权。
   • 在房屋代持的情境中，如果代持人确实不知道中介存在诈骗行为，且以合理的价格（或无偿但基于合理信赖）从名义上的房屋所有人（可能是诈骗者或受诈骗者指示的人）处“取得”了房屋（实际上可能是代持关系），且已经办理了相关的房屋登记手续，那么代持人有可能构成善意取得。
   • 若构成善意取得，代持人即合法取得了房屋的所有权，原权利人（即真正的房屋所有人）通常无法直接要求代持人退回房屋，而只能通过其他法律途径（如追究诈骗者的刑事责任或民事赔偿责任）来维护自己的权益。

2. 法定或约定返还情形的角度：

   • 尽管代持人可能构成善意取得，但如果存在法定或约定的返还情形，代持人仍可能需要退回房屋。
   • 法定返还情形可能包括：房屋被查封、扣押、冻结等司法措施；房屋涉及违法犯罪活动；房屋存在权属争议且经法院判决需返还等。
   • 约定返还情形则主要取决于代持协议中的具体条款。如果代持协议中明确约定了在某种情况下代持人需返还房屋，那么代持人应当遵守该约定。

3. 实际案例与司法实践：

   • 在实际案例中，法院会综合考虑各种因素来判断代持人是否需要退回房屋，包括代持人的主观善意程度、房屋取得的价格是否合理、是否办理了房屋登记手续、是否存在法定或约定的返还情形等。
   • 司法实践也表明，对于房屋代持纠纷，法院会倾向于保护善意第三人的合法权益，但同时也会严格审查代持行为的合法性和合理性。

法律建议：

• 对于房屋代持人而言，如果发现自己可能卷入了中介诈骗等违法犯罪活动，应立即向公安机关报案，并咨询专业律师以了解自己的法律权益和义务。
• 如果原权利人要求代持人退回房屋，代持人应首先审查自己是否构成善意取得以及是否存在法定或约定的返还情形。如果认为自己无需退回房屋，可以拒绝原权利人的要求，并准备应对可能的法律诉讼。
• 在任何情况下，代持人都应保留好与房屋代持相关的所有证据和文件，以便在需要时证明自己的合法权益。

可能后果：

• 如果代持人被认定需要退回房屋，可能会面临房屋被强制执行、赔偿原权利人损失等法律后果。
• 如果代持人被认定无需退回房屋，但原权利人通过其他法律途径（如追究诈骗者的刑事责任或民事赔偿责任）获得了赔偿或恢复了房屋所有权，代持人可能会因此卷入更复杂的法律纠纷中。

如有任何进一步疑问或需要更具体的法律建议，请直接向我咨询。