结论：借钱给打工老板后，即使不在其厂里打工，要回钱的方式主要有协商、调解、仲裁和诉讼几种途径。以下是对这些方式的详细解释和建议。

一、协商

1. 直接沟通：首先，你可以尝试直接与老板沟通，说明你的借款情况和还款需求。在沟通时，保持冷静和理性，明确表达你的诉求，并尝试达成一个双方都能接受的还款计划。

2. 书面协议：如果口头沟通效果不佳，你可以考虑与老板签订一份书面还款协议。协议中应明确借款金额、还款期限、利息（如有）以及违约责任等条款。这样，在后续维权过程中，你将有更有力的证据支持你的诉求。

二、调解

1. 第三方调解：如果协商无果，你可以寻求第三方的帮助进行调解。这可以是亲朋好友、社区调解组织或专业的调解机构。调解过程中，调解员会协助双方沟通，寻找解决方案，并促使双方达成和解协议。

2. 调解协议的法律效力：一旦达成调解协议，该协议具有法律效力。如果老板不履行调解协议，你可以依据协议向法院申请强制执行。

三、仲裁（如适用）

1. 仲裁协议：如果双方在借款时或借款后签订了仲裁协议，约定了仲裁条款，那么你可以依据仲裁协议向仲裁机构申请仲裁。仲裁是一种相对快速、保密的解决纠纷方式。

2. 仲裁裁决的执行：仲裁裁决作出后，如果老板不履行裁决，你可以向法院申请强制执行。

四、诉讼

1. 起诉准备：如果协商、调解和仲裁都无法解决问题，你可以考虑向法院提起诉讼。在起诉前，你需要准备好相关证据，如借款合同、转账记录、聊天记录等，以证明你的借款事实和老板的还款义务。

2. 诉讼流程：起诉后，法院会依法审理案件，并根据事实和法律规定作出判决。如果判决支持你的诉求，老板需要在规定期限内履行还款义务。如果老板不履行判决，你可以向法院申请强制执行。

3. 诉讼风险：需要注意的是，诉讼过程可能相对漫长且复杂，你需要承担一定的诉讼风险和费用。因此，在决定诉讼前，请务必权衡利弊并咨询专业律师的意见。

建议：

• 在采取任何行动前，请务必保留好所有与借款相关的证据和文件。
• 如果可能的话，尝试与老板保持友好沟通，以和平方式解决问题。
• 如果问题复杂或涉及金额较大，建议咨询专业律师以获取更具体的法律建议和帮助。

如有任何疑问或需要进一步的法律帮助，请直接向我咨询。