定金能否退还，需视合同问题的性质及具体情况而定，以下分情况讨论：
一、合同无效或可撤销的情形
合同无效：如果农村自建房的合同因违反法律、行政法规的强制性规定（如未取得合法的建设许可、未按照规划进行建设等）而被认定无效，那么根据《民法典》的相关规定，因该合同取得的财产，应当予以返还。因此，在这种情况下，你交的5万块钱定金应当能够退还。
合同可撤销：如果合同存在欺诈、胁迫、重大误解或显失公平等可撤销的情形，你可以在法定期限内请求人民法院或仲裁机构撤销该合同。合同被撤销后，同样根据《民法典》的规定，因该合同取得的财产应当返还。所以，在这种情况下，定金也是可以退还的。
二、合同有效但存在违约的情形
你方违约：如果合同本身是有效的，但因为你方的原因（如不想继续建房、资金问题等）导致合同无法履行，那么根据定金的性质（定金具有担保合同履行的作用），你方可能无权要求返还定金。具体来说，如果合同中明确约定了定金罚则（即给付定金的一方不履行债务或者履行债务不符合约定，致使不能实现合同目的的，无权请求返还定金），那么你方将面临定金被没收的风险。
对方违约：如果合同有效，但对方（如施工方）存在违约行为（如未按约定时间开工、施工质量不达标等），导致合同无法继续履行或你的合同目的无法实现，那么你可以根据合同约定或法律规定要求对方承担违约责任。在这种情况下，你不仅有权要求返还定金，还有权要求对方赔偿因此造成的损失。
三、合同条款不明确的情形
如果合同中的条款存在不明确或歧义，导致双方对合同的理解产生争议，那么这种情况下定金的退还问题可能需要通过协商、调解或诉讼等方式来解决。在协商或调解过程中，你可以尝试与对方就定金的退还问题达成一致意见；如果协商或调解无果，你可以向人民法院提起诉讼，由法院根据合同的具体情况、双方的过错程度等因素来判决定金的退还问题。
四、建议与行动指南
审查合同：首先，你需要仔细审查合同，确定合同是否存在无效、可撤销或条款不明确的情形。
收集证据：如果合同存在问题或对方存在违约行为，你需要收集相关证据（如合同文本、付款凭证、沟通记录、照片或视频等）来支持你的主张。
协商或调解：在收集到足够证据后，你可以尝试与对方进行协商或调解，看是否能够就定金的退还问题达成一致意见。
提起诉讼：如果协商或调解无果，你可以向人民法院提起诉讼，由法院来判决定金的退还问题。在提起诉讼前，建议你咨询专业律师的意见，以确保你的权益得到充分保障。
最后需要强调的是，定金的退还问题涉及复杂的法律关系和事实认定，因此在实际操作中需要谨慎处理。如果你对合同问题或定金的退还问题存在疑问或需要进一步的法律帮助，可以直接向我咨询。