交了首付款后能否退回，以及不退是否违法，这主要取决于具体的合同条款以及相关法律法规的规定，不能一概而论。以下从几个常见角度进行分析：
合同条款的约定：
- 如果合同中明确规定了首付款的退还条件和方式，比如因买方违约导致合同解除时，首付款不予退还；或者因卖方违约导致合同解除时，应双倍返还首付款等，那么双方应按照合同约定执行。
- 若合同中没有明确约定首付款的退还问题，或者约定不明确，那么就需要根据相关法律法规和交易习惯来判断。
法律法规的规定：
- 根据《中华人民共和国民法典》的相关规定，合同解除后，尚未履行的，终止履行；已经履行的，根据履行情况和合同性质，当事人可以请求恢复原状或者采取其他补救措施，并有权请求赔偿损失。
- 如果是因为卖方的原因导致合同无法继续履行（如卖方无法交付房屋、商品等），买方有权要求解除合同并退还首付款，甚至可能要求赔偿损失。
- 如果是因为买方的原因导致合同无法继续履行（如买方违约、无力支付后续款项等），卖方则有权根据合同约定或法律规定，拒绝退还首付款或要求买方承担违约责任。
交易习惯和公平原则：
- 在某些交易中，即使合同没有明确约定，但根据交易习惯或公平原则，也可能对首付款的退还问题有所规定。比如，在房屋买卖中，如果买方因贷款问题无法继续购买，且卖方没有过错，那么买方可能需承担一定的违约责任，但首付款的退还比例可能需要根据实际情况协商确定。
建议：
- 如果您已经交了首付款但希望退回，首先应仔细审查合同条款，了解自己的权利和义务。
- 如果合同中没有明确约定或约定不明确，您可以尝试与对方协商解决。在协商过程中，可以引用相关法律法规和交易习惯来支持自己的观点。
- 如果协商无果，您可以考虑通过法律途径解决纠纷。在此之前，建议您咨询专业律师（比如我，嵇小函律师，专注于婚姻家庭、合同纠纷领域），以便更好地了解自己的法律权益和可能的法律后果。
可能后果：
- 如果您未经对方同意擅自要求退回首付款，且没有合法依据，那么您可能构成违约，需要承担违约责任，包括但不限于支付违约金、赔偿损失等。
- 如果对方拒绝退还首付款且没有合法依据，您可以通过法律途径要求对方退还，并可能要求对方承担因此产生的诉讼费用、律师费用等。
总之，交了首付款后能否退回以及不退是否违法，需要根据具体情况来判断。如果您有相关疑问或需要进一步的法律帮助，请随时向我咨询。