结论：房子能否要回来不能一概而论，需要结合具体情况判断，以下分情况为你详细说明：
- 若贷款合同及房产登记情况清晰，且不存在其他特殊约定或情形
- 从法律物权角度，房产登记在你名下，你拥有该房产的所有权。但因为贷款是以你的名义办理的，你负有偿还贷款的合同义务。如果实际还款人停止还款，银行等贷款机构有权依据贷款合同向你追讨欠款。
- 若你被人起诉，起诉方可能是贷款机构，也可能是其他与房产存在利益纠葛的相对方（例如，若实际还款人主张对房产有某种权益而起诉你）。如果是贷款机构起诉，法院会判决你承担还款责任，但这并不直接导致你丧失房产所有权，不过若你不履行判决，贷款机构可申请强制执行，在符合法定条件时，房产可能会被拍卖用于偿还贷款。
- 如果是其他相对方起诉，要看其诉讼请求和依据。例如，若实际还款人主张你们之间存在借名买房等协议，要求确认房产归属或要求你返还其支付的款项等。此时法院会根据双方证据和法律规定进行审理判断。如果借名买房协议被认定有效，且满足一定条件（如不违反国家政策、不损害他人利益等），相对方可能取得房产权益，你就可能面临失去房产的风险；若协议无效，房产一般仍归你所有，但你可能需要返还实际还款人支付的款项等。
- 若存在恶意串通等违法情形
- 如果你们之间关于房产登记和贷款还款的安排存在恶意串通，损害国家、集体或者第三人利益的情况，那么相关的协议或行为可能被认定无效。例如，为了逃避债务、规避税收等目的而进行的操作。一旦被认定无效，房产的归属和贷款责任承担等都会按照法律规定重新确定，这种情况下房产是否能要回来以及最终归属都存在很大不确定性，需要法院根据具体违法情节和后果进行裁决。
建议：
- 收集并整理好与房产购买、贷款办理以及实际还款相关的所有证据，如购房合同、贷款合同、还款凭证、与实际还款人的沟通记录等，以便在面临诉讼时能充分维护自己的权益。
- 若已经被人起诉，要及时委托专业律师应诉，律师会根据具体案情为你制定合适的诉讼策略，最大程度保障你的合法权益。
如果你还有其他关于房产纠纷方面的疑问，欢迎随时向我咨询。