结论：您干活前交了五百块钱，干了四天不干了但钱不给退的情况，能否要回这五百块钱，主要取决于这五百块钱的性质以及您与对方之间的约定或相关法律规定。以下从不同角度进行分析：

1. 如果这五百块钱是押金或保证金：

   • 法律背景：根据《中华人民共和国民法典》的相关规定，押金或保证金通常是为了保证合同的履行或作为某种行为的担保。如果合同或约定中明确规定了押金或保证金的退还条件和方式，那么应当按照约定执行。
   • 分析：若您与对方在交钱时有明确的约定，比如工作满一定时间后退还押金，而您未达到该时间要求，则对方可能有权不退还。但若没有这样的约定，或者约定不明确，您有权要求对方退还押金，尤其是在您已经提供了部分劳动的情况下。
   • 建议：首先查看您与对方之间的书面或口头约定，了解押金或保证金的退还条件。如果没有约定或约定不明确，您可以与对方协商退还事宜，若协商不成，可以考虑通过法律途径解决。

2. 如果这五百块钱是预付款或定金：

   • 法律背景：预付款通常是为了预先支付部分费用，而定金则具有担保合同履行的作用。根据《中华人民共和国民法典》的规定，定金数额不得超过主合同标的额的百分之二十，超过部分不产生定金的效力。
   • 分析：若这五百块钱被视为预付款，且您因个人原因不再继续工作，对方可能无权全额扣留，但可能根据实际情况扣除部分费用。若被视为定金，且您未履行合同义务（如未完成约定的工作），则对方有权不退还定金，但同样受定金数额限制。
   • 建议：明确这五百块钱的性质，并查看相关约定。如果是预付款，与对方协商退还事宜；如果是定金，且数额合理，您可能需要承担定金损失。若对方行为不合理，您可以考虑法律途径。

3. 如果双方没有明确约定这五百块钱的性质：

   • 法律背景：在没有明确约定的情况下，根据公平原则和交易习惯，您有权要求对方退还部分或全部费用，尤其是当您已经提供了部分劳动时。
   • 分析：由于双方没有明确约定，对方无权单方面决定不退还费用。您可以根据自己提供的劳动量和对方因此获得的利益，与对方协商退还事宜。
   • 建议：首先尝试与对方协商，说明自己的情况和理由，要求退还部分或全部费用。如果协商不成，您可以考虑收集相关证据（如交钱凭证、工作记录等），通过法律途径维护自己的权益。

进一步行动建议：

• 收集证据：保留交钱凭证、工作记录、与对方的沟通记录等，以备不时之需。
• 协商解决：首先尝试与对方友好协商，寻求双方都能接受的解决方案。
• 法律途径：如果协商不成，您可以考虑向当地劳动监察部门投诉或提起民事诉讼，通过法律途径维护自己的权益。

可能后果：

• 如果您选择通过法律途径解决，可能需要花费一定的时间和精力，但如果您有充分的证据和合理的诉求，有可能成功要回部分或全部费用。
• 如果对方行为构成违法或违约，您还可能获得相应的赔偿或补偿。

如有更多疑问或需要进一步的法律帮助，请直接向我咨询。