针对您提出的问题，即带工人跟老板干活因矛盾原因不干了，但工人被老板留下来干活，老板是否需要赔钱，这主要取决于矛盾的性质、工人的离职意愿以及老板的行为是否合法合规。以下是从不同角度进行的分析：

1. 如果矛盾导致工人合法离职，但老板强行留下工人：

   • 在这种情况下，如果工人已经按照法律规定或合同约定提出了离职申请，并且离职程序合法，那么老板无权强行留下工人。如果老板采取非法手段（如扣留工资、限制人身自由等）迫使工人继续工作，这可能构成违法行为，工人有权向劳动监察部门投诉或提起劳动仲裁，要求老板支付拖欠的工资、经济补偿金等，并可能要求老板承担因非法限制人身自由等行为造成的损害赔偿。

2. 如果矛盾未导致工人合法离职，但工人单方面停止工作：

   • 如果工人没有按照法律规定或合同约定提出离职申请，而是单方面停止工作，这可能构成旷工或违反劳动合同的行为。在这种情况下，老板有权要求工人继续履行合同或承担违约责任，但通常不涉及直接的“赔钱”问题，除非工人的行为给老板造成了实际损失，且该损失与工人的行为有直接因果关系。然而，如果老板因此解雇工人，可能需要按照法律规定支付经济补偿金（如果解雇合法且符合支付经济补偿金的条件）。

3. 如果矛盾源于老板的违法行为，工人被迫离职：

   • 如果矛盾源于老板的违法行为（如拖欠工资、未提供劳动保护条件等），且这些行为足以迫使工人离职，那么工人有权要求老板支付拖欠的工资、经济补偿金等。在这种情况下，老板的行为可能构成违法解除劳动合同，工人可以向劳动监察部门投诉或提起劳动仲裁，要求老板承担相应的法律责任。

4. 关于赔偿的具体情形：

   • 经济补偿金：根据《中华人民共和国劳动合同法》的相关规定，如果老板违法解除劳动合同或未按照约定提供劳动条件等，工人有权要求老板支付经济补偿金。经济补偿金的计算通常与工人在公司的工作年限、月工资等因素有关。
   • 赔偿金：如果老板的行为构成对工人的侵权（如非法限制人身自由、侮辱诽谤等），工人还有权要求老板支付赔偿金。赔偿金的数额通常根据实际损失和侵权行为的严重程度来确定。

建议与注意事项：

• 在处理此类纠纷时，工人应首先尝试与老板进行协商，寻求双方都能接受的解决方案。
• 如果协商不成，工人可以向当地的劳动监察部门投诉或提起劳动仲裁，以维护自己的合法权益。
• 在整个过程中，工人应保留好所有相关证据（如劳动合同、工资单、沟通记录等），以便在需要时提供证明。

总结来说，老板是否需要赔钱取决于矛盾的性质、工人的离职意愿以及老板的行为是否合法合规。如果老板的行为构成违法或侵权，工人有权要求老板承担相应的法律责任。如果您有进一步的法律问题或需要具体的法律建议，请直接向我咨询。