结论：保证金退了之后，是否可以起诉要求赔付违约金，这主要取决于合同中的具体约定以及违约的具体情形。以下从不同角度进行分析：
合同中有明确约定：
- 如果合同中明确规定了，在保证金退还的情况下，一方仍需承担违约责任并支付违约金，那么，在符合合同约定的违约情形下，守约方有权依据合同起诉要求违约方支付违约金。
- 法律依据：根据《中华人民共和国民法典》的相关规定，依法成立的合同，对当事人具有法律约束力。当事人应当按照约定履行自己的义务，不得擅自变更或者解除合同。因此，合同中的违约金条款，在符合法律规定的情况下，是具有法律效力的。
合同中无明确约定或约定不明：
- 如果合同中没有明确规定保证金退还后是否还需支付违约金，或者约定不明确，那么，是否可以要求支付违约金就需要根据具体情况来判断。
- 分析角度：
- 违约行为：首先，要看是否存在违约行为。如果一方已经按照合同约定履行了义务，没有违约行为，那么即使保证金已经退还，也不应承担违约责任。
- 损失赔偿：其次，如果一方存在违约行为，但合同中没有约定违约金，或者约定的违约金过低，那么守约方可以依据实际损失情况，要求违约方进行赔偿。但这种赔偿通常不是以违约金的形式出现，而是以实际损失为限。
- 公平原则：在处理此类纠纷时，法院或仲裁机构也会考虑公平原则，避免一方因违约行为获得不当利益，同时保护守约方的合法权益。
特殊情况：
- 如果保证金退还本身就是因为违约行为导致的，比如一方因违约而被要求退还保证金，并同时承担违约责任，那么在这种情况下，守约方当然有权要求违约方支付违约金（如果合同中有约定）或赔偿实际损失（如果合同中没有约定或约定不明）。
建议：
- 在处理此类纠纷时，首先应当仔细审查合同条款，明确双方的权利和义务。
- 如果合同中有明确约定，应当按照约定执行；如果合同中没有约定或约定不明，则应当根据实际情况和法律规定进行协商或诉讼。
- 在任何情况下，都应当保留好相关证据，以便在需要时证明自己的主张。
后续行动：如果您面临此类纠纷，并希望进一步了解自己的权利和义务，或者需要具体的法律建议，请直接向我咨询。我会根据您的具体情况，为您提供专业、全面的法律服务。