结论：不可以直接不给工钱，但具体责任承担需根据实际情况判断。以下从不同角度进行分析：

1. 合同关系与报酬支付：

   • 即便没有书面合同，只要双方存在事实上的劳务关系（即你为对方提供了搬桌子的服务），对方就应当支付相应的报酬。这是基于《中华人民共和国民法典》中关于合同关系的基本原则，即一方提供劳务，另一方应当支付对价。
   • 报酬金额：双方约定的100元报酬，若没有违反法律法规的强制性规定或公序良俗，应当视为有效。因此，对方不能以桌子损坏为由拒绝支付全部报酬。

2. 损坏责任与赔偿：

   • 在搬桌子过程中，如果桌子损坏是由于你的过失或故意造成的，你应当承担相应的赔偿责任。但赔偿的范围应当限于桌子的实际损失，即修复或更换桌子的费用，而不是全部报酬。
   • 赔偿原则：根据《中华人民共和国民法典》的相关规定，损害赔偿应当遵循填平原则，即赔偿金额应当等于或小于实际损失。因此，如果桌子的损坏价值低于100元，对方不能要求你赔偿超过实际损失的部分，同时也不能以此为由拒绝支付报酬。

3. 实际操作建议：

   • 沟通协商：首先，建议与对方进行沟通协商，明确桌子的损坏原因和责任归属。如果双方能够达成一致意见，可以签订一份简单的协议，明确赔偿金额和报酬支付方式。
   • 第三方调解：如果沟通协商无果，可以考虑寻求第三方调解机构的帮助，如社区调解委员会或人民调解委员会等。这些机构可以提供中立的调解服务，帮助双方达成和解。
   • 法律途径：如果调解无果，对方仍然拒绝支付报酬或要求过高的赔偿，你可以考虑通过法律途径解决纠纷。可以向当地人民法院提起诉讼，要求对方支付报酬并承担合理的诉讼费用。

总结与建议：

• 在处理此类纠纷时，建议保持冷静和理性，通过沟通协商或法律途径解决问题。
• 如果对方拒绝支付报酬或要求不合理的赔偿，不要轻易放弃自己的权益，可以寻求专业律师的帮助来维护自己的合法权益。
• 在未来的劳务活动中，建议签订书面合同或协议，明确双方的权利和义务，以避免类似的纠纷发生。

如有任何疑问或需要进一步的法律帮助，请随时向我咨询。