如果在不知情的情况下借了赃款，并且办案人员要求退回，但确实无力退回，你应该采取以下措施：

首先，务必如实向司法机关说明你的经济状况和无力退还赃款的具体原因。司法机关会全面考虑案件的具体状况，包括你的经济状况、退赃意愿以及案件的其他相关因素。在量刑时，司法机关可能会将你的无力退还赃款情况作为酌情从轻处罚的一个因素，但这并不意味着你可以逃避法律责任。犯罪行为已经构成，依然需要依法承担相应的法律责任。

其次，如果你之后有能力退还赃款，应该立即告知司法机关并尽快退还。这样做不仅有助于你的量刑，也体现了你的悔过态度和诚意。

同时，你可以主动向司法机关表明退赃的意愿，并尝试制定一个合理的还款计划。即使暂时无法一次性退还全部赃款，表明你愿意积极面对问题并努力解决问题，也可能会在量刑时得到一定的考虑。

最后，你需要积极配合司法机关的调查和处理工作，如实交代相关情况，不要有任何隐瞒或逃避的行为。只有积极面对问题，才能有助于事情的更好解决。

总之，即使无力退还赃款，也应该依法面对问题，积极配合司法机关的工作，并努力表明自己的悔过态度和诚意。这样才能有助于问题的更好解决，并可能在一定程度上减轻你的法律责任。