结论：是否需要担责取决于多个因素，包括你是否尽到了管理义务、对方使用设备是否经过你的许可、以及事故发生的具体原因等。以下从不同角度进行分析：
管理义务与责任：
- 作为小型吊砖机的所有者或管理者，你有责任确保设备的安全使用，防止未经授权的人员使用。如果设备被未经你许可的人员使用，并且你未采取合理措施防止这种情况发生，那么你可能需要承担一定的管理责任。
- 如果你已经尽到了管理义务，比如将设备妥善存放、设置了明显的警示标志、或者采取了其他合理措施防止未经授权的使用，但对方仍然强行使用并导致事故，那么你的责任可能会减轻或免除。
对方使用设备的合法性：
- 如果对方工班的工人未经你的许可擅自使用你的设备，这本身就构成了侵权行为。在这种情况下，如果事故是由于对方的不当使用或操作失误导致的，那么对方应该承担主要责任。
- 然而，如果对方在使用设备时得到了你的默许或口头同意，即使没有正式的书面协议，你也可能被视为对设备的使用有一定的控制权或影响力，从而可能需要承担一定的责任。
事故发生的具体原因：
- 事故的具体原因也是判断责任的重要因素。如果事故是由于设备本身的缺陷或故障导致的，那么设备的制造商或供应商可能需要承担一定的责任。
- 如果事故是由于对方工人的操作失误、违反安全规定或故意行为导致的，那么对方应该承担主要责任。
- 如果事故是由于多种因素共同作用导致的，那么责任可能需要根据各方在事故中的过错程度进行分配。
法律建议：
- 在处理此类事故时，建议首先收集相关证据，包括事故现场的照片、视频、目击者证言、设备的使用记录等，以便在后续的法律程序中证明自己的立场。
- 如果可能的话，与对方进行协商，尝试达成和解协议，以避免长时间的法律纠纷和不必要的经济损失。
- 如果协商无果，或者对方拒绝承担责任，你可以考虑向法院提起诉讼，要求对方承担相应的赔偿责任。在诉讼过程中，你需要提供充分的证据来证明自己的主张。
可能后果：
- 如果你被认定需要承担责任，你可能需要支付对方的医疗费用、误工费、残疾赔偿金等经济损失。
- 如果事故造成了严重后果，比如人员死亡或重大财产损失，你还可能面临刑事责任的追究。
总之，在处理此类事故时，建议保持冷静、收集证据、咨询专业律师（即我本人，冯俊奇律师，专注于婚姻家庭、民间借贷领域，但在此类民事纠纷中也能提供专业法律意见），并根据具体情况采取合适的法律行动。如果你有任何进一步的问题或需要更具体的法律建议，请直接向我咨询。