结论：面对只有转账记录且对方配偶起诉要求退款的情况，您是否需要退款取决于转账的性质、目的以及是否存在其他证据支持您的立场。以下是从不同角度进行的分析：
一、转账性质与目的
赠与性质：
- 如果转账被认定为赠与，且赠与行为不违反法律强制性规定或公序良俗，那么赠与一旦完成，通常不可撤销，您无需退款。
- 法律依据：根据《中华人民共和国民法典》第六百五十七条，赠与合同是赠与人将自己的财产无偿给予受赠人，受赠人表示接受赠与的合同。若赠与行为合法有效，且已完成交付，则赠与人不得随意撤销。
借贷性质：
- 如果转账被认定为借贷，且您无法提供借款合同或其他证据证明借贷关系的存在，而对方配偶能够证明该转账并非基于借贷目的，那么您可能需要退款。
- 法律依据：根据《中华人民共和国民法典》第六百六十七条，借款合同是借款人向贷款人借款，到期返还借款并支付利息的合同。若转账被认定为借款，且您无法证明借贷关系的存在，则可能面临退款风险。
其他性质：
- 如果转账是基于其他目的，如共同投资、购买商品或服务等，且您能够提供相应证据支持您的立场，那么您可能无需退款。
- 分析：在这种情况下，转账的性质和目的将决定您是否需要退款。您需要收集并保留所有相关证据，以证明转账的具体用途和目的。
二、证据支持
转账记录作为证据：
- 转账记录本身可以作为证明转账事实的证据，但单独使用可能不足以证明转账的性质和目的。
- 建议：您应收集其他相关证据，如聊天记录、短信、邮件、合同等，以证明转账的具体用途和目的。
对方配偶的证据：
- 对方配偶可能会提供证据证明转账并非基于合法目的，如证明转账是用于非法活动或违反公序良俗的行为。
- 分析：在这种情况下，您需要仔细审查对方配偶提供的证据，并准备相应的反驳证据。
三、法律程序与应对策略
积极应诉：
- 如果您收到法院的传票或起诉状，应积极应诉，并在规定时间内提交答辩状和相关证据。
- 建议：您可以寻求专业律师的帮助，以制定合适的应诉策略。
调解与和解：
- 在诉讼过程中，您可以考虑与对方进行调解或和解，以达成双方都能接受的解决方案。
- 分析：调解或和解可以节省时间和成本，并避免不必要的法律纠纷。
法律后果：
- 如果法院最终判决您需要退款，您应履行判决义务，否则可能面临强制执行等法律后果。
- 法律依据：根据《中华人民共和国民事诉讼法》的相关规定，被执行人未按执行通知履行法律文书确定的义务，人民法院有权采取强制执行措施。
总结与建议：面对只有转账记录且对方配偶起诉要求退款的情况，您应首先确定转账的性质和目的，并收集相关证据支持您的立场。如果转账是赠与且合法有效，您通常无需退款；如果转账是借贷或其他性质，且您无法提供相应证据支持您的立场，则可能面临退款风险。在处理此类纠纷时，建议您积极应诉、考虑调解或和解，并遵守法院的判决义务。如有任何疑问或需要进一步的法律帮助，请直接向我咨询。