结论：是否需要退还赔偿金，需根据双方约定内容、实际履行情况以及法律原则综合判断。若约定内容违反法律强制性规定或公序良俗，则可能无效；若约定合法有效，但一方未履行约定义务，则可能需承担违约责任或退还部分款项。以下从不同角度详细分析：
一、约定内容的合法性审查
若约定内容违法或违背公序良俗：
- 根据《民法典》的相关规定，民事法律行为不得违反法律、行政法规的强制性规定，不得违背公序良俗。若双方约定的“坠胎赔定金”及后续处理方式涉及非法行为（如强迫堕胎、非法限制人身自由等）或违背社会公德，则该约定无效。
- 法律后果：无效的民事法律行为自始没有法律约束力，因此，基于无效约定所支付的赔偿金，可能需全额退还，且双方还可能需承担因无效行为而产生的其他法律责任。
若约定内容合法：
- 若双方约定的内容不违反法律强制性规定，也不违背公序良俗，如双方自愿协商，就堕胎及后续事宜达成一致，并明确约定了赔偿金的支付条件及退还规则，则该约定在双方之间具有法律约束力。
二、实际履行情况与违约责任
若一方未履行约定义务：
- 在此情况下，若“小三”未按约定堕胎，而是选择生下孩子，则可能构成违约。根据约定内容，若明确规定了未堕胎需退还赔偿金，则“小三”可能需承担退还责任。
- 法律后果：违约方需按照约定承担违约责任，包括但不限于退还赔偿金、支付违约金等。但需注意，违约责任的承担需以约定合法有效为前提。
若双方均履行了约定义务，但出现新情况：
- 如双方均按约定履行了义务，但“小三”在堕胎后因身体原因或其他特殊情况无法再次怀孕，或孩子出生后存在健康问题等，这些新情况可能影响赔偿金的退还问题。
- 法律建议：在此情况下，双方应协商解决，如协商不成，可寻求法律途径解决。法院在审理时，会综合考虑双方约定、实际履行情况、新情况的出现及其影响等因素，作出公正判决。
三、法律原则与公平正义
保护妇女儿童权益原则：
- 在处理此类纠纷时，法院会充分考虑保护妇女儿童的合法权益。若“小三”因堕胎或生育而遭受身体或心理上的伤害，法院在判决时可能会倾向于保护其权益。
- 法律后果：这可能导致赔偿金的退还问题受到一定影响，法院可能会根据实际情况调整赔偿金的数额或退还规则。
公平正义原则：
- 法院在审理案件时，会遵循公平正义原则，确保双方当事人的合法权益得到平等保护。若约定内容显失公平或存在欺诈、胁迫等情形，法院可能会宣告约定无效或调整约定内容。
- 法律建议：在处理此类纠纷时，双方应秉持诚信原则，如实陈述事实，提供充分证据，以便法院作出公正判决。
总结与建议：是否需要退还赔偿金，需根据双方约定内容、实际履行情况以及法律原则综合判断。建议双方在处理此类纠纷时，首先尝试协商解决；如协商不成，可寻求法律途径解决。在诉讼过程中，双方应提供充分证据支持自己的主张，并遵循法院的判决结果。如有任何疑问或需要进一步的法律帮助，请直接向我咨询。