结论：在双方都有家庭的情况下，赠送如520、1314、5200等具有特殊含义的金额，若被起诉要求归还，是否需要归还取决于多个因素，包括赠与的性质、双方的关系、赠与的目的以及是否存在法律上的无效或可撤销情形等。以下从不同角度进行分析：

1. 赠与的性质与目的：

   • 如果这些赠与是出于表达爱意、庆祝特殊日子（如情人节、生日等）或增进感情的目的，且金额相对不大，通常被视为一般赠与。在一般赠与的情况下，一旦赠与完成，赠与人通常无权要求返还，除非存在法律规定的特定情形（如欺诈、胁迫等）。
   • 然而，如果赠与的金额巨大，或者赠与行为明显超出了正常社交礼仪的范畴，且赠与人能够证明赠与是基于某种特定目的（如婚姻承诺、共同投资等），但该目的未能实现，那么赠与人可能有权要求返还。

2. 双方的关系与道德考量：

   • 双方都有家庭的情况下，赠送具有特殊含义的金额可能涉及道德问题。如果这种赠与行为被视为对婚姻忠诚的背叛，或者对家庭关系的破坏，那么在社会道德层面可能会受到谴责。
   • 在法律层面，虽然道德因素通常不直接决定法律后果，但法院在审理案件时可能会考虑双方的行为是否违背了公序良俗，从而影响对案件的判断。

3. 法律上的无效或可撤销情形：

   • 如果赠与行为存在法律上的无效情形（如违反法律强制性规定、损害国家利益或社会公共利益等），那么赠与合同自始无效，赠与人有权要求返还。
   • 如果赠与行为存在可撤销情形（如欺诈、胁迫、重大误解等），赠与人也可以在法定期限内行使撤销权，要求返还赠与财产。

4. 具体案例与司法实践：

   • 在司法实践中，法院会根据具体案件的事实和证据来判断赠与的性质、目的以及是否存在无效或可撤销情形。因此，即使双方都有家庭且赠送了具有特殊含义的金额，也不能一概而论地判断是否需要归还。
   • 例如，如果赠与人能够证明赠与是基于婚姻承诺而做出的，但受赠人并未履行婚姻承诺，那么赠与人可能有权要求返还赠与财产。

建议：

• 如果您或您身边的人遇到了类似情况，建议首先收集并保存好所有相关证据（如转账记录、聊天记录、证人证言等），以便在需要时提供证明。
• 考虑到法律问题的复杂性和专业性，建议您咨询专业律师以获取更具体、更准确的法律建议。作为专注于婚姻家庭领域的律师，我可以为您提供专业的法律咨询和帮助。
• 在处理此类问题时，请务必保持冷静和理性，避免情绪化决策或采取过激行为。通过合法途径解决争议是维护自身权益的最佳方式。