结论：对方能否要回这20万转账，取决于转账的性质以及你们之间的关系认定，具体分析如下：
一、转账性质对结果的影响
借款性质：
- 如果这20万转账被认定为借款，那么对方作为出借人，有权要求你归还。在这种情况下，即使你们在一起13年，且对方有家庭，这并不影响借款关系的成立和还款义务。
- 法律依据：根据《中华人民共和国民法典》的相关规定，借款合同是借款人向贷款人借款，到期返还借款并支付利息的合同。如果转账记录、聊天记录等证据能够证明这笔款项是借款，那么对方有权要求返还。
赠与性质：
- 如果这20万转账被认定为赠与，那么情况就复杂多了。赠与合同是赠与人将自己的财产无偿给予受赠人，受赠人表示接受赠与的合同。在一般情况下，赠与一旦完成，除非存在法定撤销情形，否则赠与人不得要求返还。
- 特殊情形：然而，如果赠与行为违反了公序良俗（比如破坏他人家庭），或者赠与的财产属于夫妻共同财产且未经另一方同意，那么赠与行为可能被认定为无效或可撤销。在这种情况下，对方或其配偶可能有权要求返还部分或全部款项。
- 法律依据：根据《中华人民共和国民法典》的相关规定，违背公序良俗的民事法律行为无效。同时，如果赠与的财产属于夫妻共同财产，且未经另一方同意，那么该赠与行为可能因侵犯另一方的财产权益而被撤销。
其他性质：
- 如果转账是用于共同生活、经营或其他特定目的，且双方有明确的约定或协议，那么款项的返还可能需要根据具体约定或协议来处理。
二、你们之间关系对结果的影响
- 你们在一起13年，且对方有家庭，这一事实可能对转账性质的认定产生影响。如果转账发生在你们同居期间，且款项用于共同生活或经营，那么可能被视为共同财产或共同债务的一部分。然而，这并不意味着对方可以随意要求返还全部款项，而是需要根据具体情况和法律规定来处理。
三、建议与措施
收集证据：
- 无论转账性质如何，你都应该尽快收集相关证据，如转账记录、聊天记录、证人证言等，以证明款项的性质和用途。
咨询专业意见：
- 由于这种情况涉及复杂的法律关系和事实认定，我建议你直接向我咨询，以便更准确地评估你的法律风险和制定应对策略。
考虑和解或调解：
- 如果对方提起诉讼，你可以考虑通过和解或调解的方式解决纠纷，以避免不必要的法律诉讼和成本支出。
准备应诉：
- 如果对方坚持要求返还款项，并且你不同意其主张，那么你需要做好应诉准备，包括准备答辩状、证据材料等，以维护自己的合法权益。
最后，我需要强调的是，每个案件都有其独特的事实和法律背景，因此上述分析仅供参考。如果你面临这种情况，请务必及时向我咨询，以便获得更具体、更专业的法律建议。