结论：你可以从自身安全、工作范围与职责、法律风险等角度回绝老板，以下为你详细介绍不同角度的回绝方式及理由。

从自身安全角度回绝

1. 回绝话术：老板，我理解公司要账的急切心情，但带全体职工去对方公司要账，这种方式可能会引发冲突，存在较大的安全隐患。我担心在这个过程中大家情绪激动，发生肢体冲突，不仅可能无法顺利要回账款，还会让我们自身陷入危险之中，甚至可能触犯法律。我家里还有老人小孩需要我照顾，我不能让自己处于这样的危险境地，所以实在没办法参与这次行动。
2. 理由：根据《中华人民共和国治安管理处罚法》等相关法律法规，在要账过程中如果发生冲突、打架斗殴等行为，参与者可能会面临罚款、拘留等行政处罚；如果造成对方人身伤害，情节严重的还可能构成故意伤害罪等刑事犯罪。从保障自身和同事人身安全的角度出发，你有合理理由拒绝这种可能存在安全风险的行为。

从工作范围与职责角度回绝

1. 回绝话术：老板，我的工作职责主要是[具体说明自己的本职工作，如负责日常行政事务、技术研发、销售业务等]，并不包括带队去要账这一项。要账涉及到财务、债务纠纷处理等专业领域，我缺乏相关的经验和知识，担心无法胜任这项任务，反而可能因为处理不当给公司带来损失。我觉得公司还是应该安排专门负责债务催收或者有相关经验的人员来处理这件事会更合适。
2. 理由：劳动合同是明确劳动者和用人单位权利义务的重要依据。如果你的劳动合同中没有约定你需要承担带队要账的工作职责，那么你有权拒绝老板安排的超出合同范围的工作任务。用人单位不得随意给劳动者增加与劳动合同约定无关的工作内容。

从法律风险角度回绝

1. 回绝话术：老板，我了解到带队去对方公司要账，如果方式不当，很可能会涉嫌违法。比如，如果我们在要账过程中采取威胁、恐吓、非法拘禁等手段，就可能触犯法律。一旦出现这种情况，不仅公司要承担法律责任，作为参与人员的我个人也可能面临法律的制裁，这会给我今后的生活和工作带来极大的负面影响。我不能因为这次要账行为而让自己背上法律污点，所以实在不能接受这个任务。
2. 理由：根据《中华人民共和国刑法》规定，以暴力、威胁方法阻碍国家机关工作人员依法执行职务的，处三年以下有期徒刑、拘役、管制或者罚金；非法拘禁他人或者以其他方法非法剥夺他人人身自由的，处三年以下有期徒刑、拘役、管制或者剥夺政治权利。具有殴打、侮辱情节的，从重处罚。如果在要账过程中实施了这些违法行为，参与者将承担相应的刑事责任。

后续建议：在回绝老板后，你可以观察老板的反应。如果老板理解并接受了你的回绝，那问题就解决了；如果老板仍然坚持要求你去，你可以进一步向老板说明可能面临的法律后果和风险，必要时可以提供一些相关的法律案例供老板参考。如果老板因此对你进行刁难或者采取其他不利措施，你可以保留相关证据，如聊天记录、通话录音等，以维护自己的合法权益。有问题随时向我咨询。