结论：是否需要赔偿，取决于你们之间是否形成了有效的合同关系以及合同中的具体约定，还有你未去干活的具体原因。以下从不同情况为你详细分析：
一、未形成有效合同关系
如果你们只是口头简单约定，没有形成书面合同，且没有实际履行（比如你未开始工作，对方也未支付任何费用），同时也不存在其他能够证明你们之间存在明确权利义务关系的证据（如聊天记录中明确约定了工作内容、报酬、违约责任等关键条款且双方对此无争议），那么从法律层面来看，你们之间可能并未形成有效的合同关系。在这种情况下，对方要求你赔偿可能缺乏法律依据，你一般无需进行赔偿。
二、形成了有效合同关系
- 合同中有明确违约责任约定
- 如果你们之间形成了有效的合同关系，且合同中明确约定了如果一方违约需要承担的赔偿责任，那么就需要按照合同约定来处理。例如，合同中约定“若乙方（你）无故不去干活，需向甲方（对方）支付违约金[X]元”，在这种情况下，如果你没有合理的理由（如不可抗力、对方存在重大违约行为等）而拒绝去干活，那么你可能需要按照合同约定向对方支付相应的违约金。
- 法律依据：根据《中华人民共和国民法典》第五百七十七条规定，当事人一方不履行合同义务或者履行合同义务不符合约定的，应当承担继续履行、采取补救措施或者赔偿损失等违约责任。第五百八十五条规定，当事人可以约定一方违约时应当根据违约情况向对方支付一定数额的违约金，也可以约定因违约产生的损失赔偿额的计算方法。
- 合同中未明确违约责任约定
- 若合同中没有明确约定违约责任，但你的行为确实给对方造成了实际损失，对方可以要求你赔偿其实际损失。不过，对方需要承担举证责任，即需要提供充分的证据证明其损失的具体数额以及该损失是由你的违约行为直接导致的。例如，对方为了让你来干活，提前租赁了场地、购买了相关设备等，因为你未去干活导致这些场地闲置、设备闲置产生了损失，对方需要提供租赁合同、设备购买发票等证据来证明其损失。
- 法律依据：根据《中华人民共和国民法典》第五百八十四条规定，当事人一方不履行合同义务或者履行合同义务不符合约定，造成对方损失的，损失赔偿额应当相当于因违约所造成的损失，包括合同履行后可以获得的利益；但是，不得超过违约一方订立合同时预见到或者应当预见到的因违约可能造成的损失。
三、存在免责事由
如果你不去干活是因为出现了不可抗力等免责事由（如突发重大疾病、遭遇自然灾害等导致你无法履行合同），且你能够提供相应的证据证明，那么根据法律规定，你可以部分或者全部免除违约责任，无需向对方进行赔偿。
建议：你可以先与对方进行友好协商，说明你未去干活的具体原因，争取达成一个双方都能接受的解决方案。如果协商不成，对方坚持要求你赔偿，你可以要求对方提供相关的证据来支持其主张。若对方无法提供充分证据，你可以拒绝赔偿；若对方提供了证据且你认为其主张合理，你可以考虑与对方进一步协商赔偿的金额和方式。如果双方无法达成一致，对方可能会通过法律途径解决，此时你可以收集相关证据，积极应诉，维护自己的合法权益。
如果你还有其他疑问或需要进一步的法律帮助，可以直接向我咨询，我会为你提供更详细的解答。