结论：被迫离职后老板叫回去协商，您不想去的话，完全有权拒绝，且这一决定不会直接影响您后续主张劳动权益的合法性。不过，是否回去协商需结合您的具体情况和需求来决定，以下从多个角度为您分析：
一、法律角度
协商的自愿性：
- 劳动关系的协商，包括离职协商，应当遵循自愿、平等、公平、诚实信用的原则。您作为劳动者，有权自主决定是否参与协商，不受任何强迫或威胁。
离职后的权利：
- 一旦您被迫离职，即意味着劳动关系已经解除（或视为解除）。此时，您与用人单位之间的权利义务关系主要转化为经济补偿、工资结算、社保转移等后续事宜的处理。
- 您有权选择通过法律途径（如劳动仲裁）来维护自己的合法权益，而不必局限于与用人单位的协商。
协商不成的影响：
- 如果您拒绝回去协商，用人单位不能因此剥夺您应得的劳动权益，如经济补偿、未结工资等。
- 若用人单位存在违法行为（如拖欠工资、未依法缴纳社保等），您仍有权向劳动监察部门投诉或申请劳动仲裁。
二、实际角度
协商的潜在好处：
- 协商可能是一个快速解决争议、达成双方都能接受的解决方案的途径。如果您认为通过协商能够更高效地解决问题，且对协商结果有合理预期，那么回去协商也是一个选择。
协商的风险：
- 协商过程中，用人单位可能会提出一些对您不利的条件或要求。如果您没有充分的准备或不了解自己的权益，可能会陷入被动。
- 如果您对协商结果不满意或认为用人单位存在欺诈、胁迫等行为，协商可能无法达成预期效果，甚至可能浪费您的时间和精力。
拒绝协商的应对：
- 如果您决定拒绝回去协商，建议您以书面形式（如邮件、短信）告知用人单位您的决定，并保留好相关证据。
- 同时，您可以开始准备申请劳动仲裁的相关材料，如劳动合同、工资单、离职证明等，以备不时之需。
三、建议与策略
评估自身情况：
- 在决定是否回去协商前，建议您先评估自己的实际情况和需求。包括但不限于：经济补偿的金额、未结工资的数额、社保转移的情况等。
了解法律法规：
- 建议您提前了解相关的劳动法律法规和政策，以便在协商或劳动仲裁过程中更好地维护自己的权益。
寻求专业帮助：
- 如果您对协商或劳动仲裁流程不熟悉或存在疑虑，可以寻求专业律师或法律援助机构的帮助。他们可以为您提供法律咨询、代理申请劳动仲裁等服务。
最后，无论您选择回去协商还是直接申请劳动仲裁，都请保持冷静和理性，依法维护自己的合法权益。如果您有任何疑问或需要进一步的法律帮助，请随时向我咨询。