结论：购房合同上只有您一个人的名字，并不意味着对方无法主张权利或要求“要回去”，具体能否要回取决于多种因素，包括购房款的支付情况、双方是否有其他约定、以及是否存在法律上的特殊情形等。以下从不同角度为您详细分析：
购房款支付情况：
- 如果购房款完全由您个人支付，且没有使用对方的资金，那么从资金来源的角度看，对方可能较难主张对房屋的所有权或要求返还。
- 如果购房款中包含了对方的资金，或者双方有共同出资购房的约定，那么对方可能基于出资事实或约定，主张对房屋享有部分或全部权益。
双方是否有其他约定：
- 如果双方在购房前或购房过程中有明确的书面或口头约定，比如约定房屋为共同所有、按份共有，或者约定在一定条件下房屋归一方所有等，那么这些约定将直接影响房屋的归属。
- 如果没有明确的约定，那么根据《民法典》中关于共有财产的规定，如果房屋是在婚姻关系存续期间购买，且双方没有特殊约定，那么房屋可能被视为夫妻共同财产。但在此案例中，由于购房合同上只有您一个人的名字，且未提及婚姻关系，所以这一点可能不直接适用，但仍需考虑双方是否存在其他形式的共同关系或约定。
法律上的特殊情形：
- 如果购房行为存在欺诈、胁迫等违法情形，或者购房合同本身无效（如因违反法律、行政法规的强制性规定而无效），那么对方可能基于这些理由主张撤销购房合同或要求返还房屋。
- 另外，如果房屋是通过继承、赠与等方式获得，且存在相关的法律手续和证明文件，那么这些也将影响房屋的归属和对方的权利主张。
法律建议：
- 首先，建议您回顾购房过程中的所有相关文件和记录，包括购房合同、付款凭证、双方之间的通信记录等，以明确购房款的支付情况、双方是否有其他约定等关键事实。
- 其次，如果对方确实提出了要求返还房屋的主张，您应该及时咨询专业律师，了解自己的权利和义务，以及可能面临的法律风险和后果。
- 最后，根据律师的建议和案件的具体情况，您可以考虑与对方进行协商、调解或诉讼等解决方式，以维护自己的合法权益。
可能后果：
- 如果对方的主张缺乏法律依据或证据支持，那么您可能无需返还房屋或承担其他法律责任。
- 如果对方的主张有法律依据或证据支持，且法院最终判决房屋归对方所有或您需要返还部分购房款等，那么您将需要遵守法院的判决并承担相应的法律责任。
如有任何疑问或需要进一步的法律帮助，请随时向我咨询。