结论：不建议继续转账给婚外的人，无论对方是否退回。以下从法律和道德两个角度为你详细分析：
法律角度
财产性质与归属：
- 转账行为在法律上通常被视为赠与或借贷。如果是赠与，一旦转账完成，且没有法定撤销情形（如受赠人严重侵害赠与人或其近亲属的合法权益、对赠与人有扶养义务而不履行等），赠与人通常不能要求返还。
- 如果是借贷，需要有明确的借贷合意和证据（如借条、转账备注等）。若没有这些证据，仅凭转账记录可能难以证明借贷关系，从而面临无法追回的风险。
- 特别提醒：若转账资金属于夫妻共同财产，未经配偶同意擅自将大额资金赠与婚外他人，可能构成对夫妻共同财产的侵害，配偶有权要求返还。
法律后果：
- 继续转账可能加剧财产损失，尤其是当对方没有合法理由接受这些转账时。
- 如果转账行为被配偶发现，可能引发离婚纠纷，并在财产分割时处于不利地位。根据《民法典》的相关规定，离婚时，夫妻的共同财产由双方协议处理；协议不成的，由人民法院根据财产的具体情况，按照照顾子女、女方和无过错方权益的原则判决。擅自处分夫妻共同财产的行为，可能被认定为过错行为，从而影响财产分割比例。
道德角度
婚姻忠诚义务：
- 婚姻是建立在忠诚和信任基础上的法律关系。继续转账给婚外的人，违背了婚姻中的忠诚义务，可能对婚姻关系造成不可修复的损害。
社会道德评价：
- 此类行为可能受到社会道德的谴责，影响个人声誉和形象。在社交圈中，这种行为可能被视为不道德或不可接受，从而对个人的人际关系产生负面影响。
建议
停止转账行为：
- 立即停止向婚外的人转账，避免进一步的财产损失和道德风险。
反思与沟通：
- 反思自己的行为对婚姻和家庭的影响，考虑与配偶进行坦诚的沟通，寻求解决问题的方法。
寻求专业帮助：
- 如果面临婚姻危机或财产纠纷，建议寻求专业律师或心理咨询师的帮助，以更理性、合法的方式解决问题。
最后，婚姻是人生中的重要关系，需要双方共同维护和珍惜。面对诱惑和挑战时，请坚守道德和法律底线，珍惜眼前的幸福和家庭。如果你有任何法律问题或需要进一步的帮助，请随时向我咨询。