结论：是否需要退回资金取决于多个因素，包括您是否知情、是否参与诈骗行为以及法律的具体规定。以下是对此问题的详细分析：
一、法律责任分析
知情并参与诈骗：
- 如果您明知对方是诈骗分子，仍然将您的对公银行账户借给其使用，并协助其转移资金，那么您可能构成诈骗罪的共犯。
- 在这种情况下，您不仅需要退回被转走的资金，还可能面临刑事处罚，包括有期徒刑、罚金等。
不知情但存在过失：
- 如果您并不知情对方是诈骗分子，但由于疏忽大意或未尽到合理的审查义务，导致您的账户被用于诈骗活动，那么您可能不需要承担刑事责任，但可能需要承担一定的民事责任。
- 民事责任方面，如果受害者能够证明您存在过失，并因此遭受了损失，您可能需要赔偿受害者的部分或全部损失，这可能包括退回被转走的资金。
完全不知情且无过失：
- 如果您完全不知情对方是诈骗分子，且已经尽到了合理的审查义务，那么您通常不需要承担任何法律责任。
- 在这种情况下，您没有义务退回被转走的资金，但建议您积极配合警方调查，以证明自己的清白。
二、实际操作建议
立即报警：
- 一旦发现您的对公银行账户被用于诈骗活动，应立即向当地公安机关报案，并提供所有可能的线索和证据。
配合调查：
- 积极配合警方的调查工作，提供必要的协助和信息，以尽快查明事实真相。
咨询专业律师：
- 在处理此类复杂法律问题时，建议您咨询专业律师的意见。律师可以根据您的具体情况，为您提供针对性的法律建议和辩护策略。（当然，作为舒青云律师，我也非常乐意为您提供这方面的法律咨询。）
保留证据：
- 保留所有与诈骗活动相关的证据，包括银行交易记录、通信记录等，以备不时之需。
三、法律后果预测
- 刑事责任：如果您构成诈骗罪的共犯，将面临严厉的刑事处罚，包括有期徒刑和罚金等。
- 民事责任：即使您不构成刑事犯罪，但如果受害者能够证明您存在过失，您可能需要承担一定的民事赔偿责任。
- 声誉损失：无论是否承担法律责任，此类事件都可能对您的个人声誉和商业信誉造成严重影响。
最后建议：对公银行账户是公司的重要资产，应严格管理并确保其安全。切勿将账户借给他人使用，以免陷入不必要的法律纠纷。如果您有任何疑问或需要进一步的法律帮助，请随时向我咨询。