结论：是否需要把定金退回给甲方，取决于甲方违约的具体情形以及双方合同中的相关约定。以下分情况详细说明：
若合同中明确约定了甲方违约时定金的处理方式：
- 合同有约定，按约定处理：根据《中华人民共和国民法典》的相关规定，合同是双方意思表示一致的协议，对双方均具有法律约束力。如果合同中明确约定了甲方违约时定金的处理方式，比如“若甲方违约，则乙方有权没收定金”或“若甲方违约，乙方应退还定金并要求甲方支付违约金”等，那么应当按照合同中的约定来处理。
- 示例：假设甲乙双方签订了一份购房合同，合同中约定“若甲方（购房者）违约，则乙方（卖方）有权没收甲方已支付的定金”。若甲方后来确实违约了，那么乙方就有权根据合同约定没收定金，无需退还。
若合同中未明确约定甲方违约时定金的处理方式：
- 适用定金罚则：根据《中华人民共和国民法典》第五百八十七条的规定，收受定金的一方不履行债务或者履行债务不符合约定，致使不能实现合同目的的，应当双倍返还定金；而给付定金的一方不履行债务或者履行债务不符合约定，致使不能实现合同目的的，无权请求返还定金。但这一规定主要适用于收受定金方违约的情形。对于给付定金方（即甲方）违约的情况，若合同无特别约定，则通常理解为甲方无权要求返还定金，但乙方也并无必须没收定金的法定权利，实践中可能涉及双方协商或根据公平原则处理。
- 协商处理或依据公平原则：在合同无明确约定且法律无直接规定的情况下，双方可以协商处理定金的退还问题。如果协商不成，法院或仲裁机构可能会根据公平原则，考虑双方的过错程度、实际损失等因素，来裁决定金是否退还以及退还的比例。
- 示例：假设甲乙双方签订了一份服务合同，合同中未约定甲方违约时定金的处理方式。若甲方后来违约了，乙方可以提出根据公平原则，要求甲方承担一定的违约责任，但并不意味着乙方必须没收全部定金。双方可以协商退还部分定金或采取其他补偿措施。
建议：
- 审查合同条款：首先，建议您仔细审查双方签订的合同，特别是关于定金和违约责任的条款，以确定是否有明确的约定。
- 与对方协商：如果合同中没有明确约定，或者约定不明确，建议您与对方进行协商，寻求一个双方都能接受的解决方案。
- 寻求法律帮助：如果协商不成，或者您对合同条款的理解存在疑问，建议您咨询专业律师，以便更好地维护自己的合法权益。
在处理此类问题时，务必保持冷静和理性，通过合法途径解决纠纷。如果您有任何进一步的法律问题或需要更详细的法律建议，请直接向我咨询。