能否要回不工作到处借钱的人所借的钱，需视具体情况而定，但总体上，若符合法定条件，出借人有权要求借款人返还借款。以下从不同角度进行分析：
一、借款合同的法律效力
合同成立与生效：
- 根据《中华人民共和国民法典》的相关规定，借款合同自出借人提供借款时成立。若双方已就借款事宜达成合意，且出借人已实际交付借款，则借款合同成立并生效。
- 借款人是否工作，并不影响借款合同的法律效力。只要合同内容合法，双方意思表示真实，合同即具有法律约束力。
合同履行与违约：
- 借款人应按照合同约定的期限和方式返还借款。若借款人未履行还款义务，则构成违约，出借人有权要求其承担违约责任。
- 违约责任的承担方式包括继续履行、采取补救措施或赔偿损失等。在此情况下，出借人可要求借款人返还借款本金及可能产生的利息或违约金。
二、借款人的还款能力
还款能力评估：
- 借款人的还款能力是影响借款能否收回的重要因素。若借款人无稳定收入来源，且无其他财产可供执行，则出借人收回借款的难度可能较大。
- 但这并不意味着出借人无法收回借款。出借人可通过法律途径，如起诉至法院，要求借款人承担还款责任。法院在判决时，会综合考虑借款人的实际情况，包括其财产状况、收入来源等，以确定还款计划和方式。
财产保全与执行：
- 为确保借款能够顺利收回，出借人可在起诉前或起诉过程中申请财产保全，冻结借款人的银行账户、房产等财产。
- 若法院判决借款人还款，而借款人未履行判决，出借人可申请强制执行，通过拍卖、变卖借款人的财产来收回借款。
三、法律途径与救济措施
协商与调解：
- 在借款纠纷发生后，出借人可首先尝试与借款人进行协商，寻求和解或达成还款计划。
- 若协商无果，出借人可寻求第三方调解机构的帮助，如人民调解委员会等，以促成双方达成和解。
诉讼与仲裁：
- 若协商和调解均无法解决问题，出借人可向法院提起诉讼，要求借款人承担还款责任。
- 在诉讼过程中，出借人需提供充分的证据证明借款事实的存在以及借款人的违约行为。法院将根据事实和法律规定作出判决。
- 若双方在借款合同中约定了仲裁条款，出借人也可选择通过仲裁方式解决纠纷。
四、特殊情况下的处理
借款人下落不明：
- 若借款人下落不明，出借人仍可通过法律途径维护自己的权益。例如，出借人可向法院申请宣告借款人为失踪人，并指定财产代管人。在代管人管理借款人的财产期间，出借人可要求代管人从借款人的财产中支付借款。
- 若借款人被宣告死亡，其遗产继承人应在继承遗产的范围内承担还款责任。
恶意逃债：
- 若借款人存在恶意逃债行为，如转移财产、隐匿财产等，出借人可向法院提供相关证据，要求法院对借款人的财产进行查封、扣押或拍卖等措施，以强制其履行还款义务。
- 同时，出借人还可向公安机关报案，追究借款人的刑事责任（如涉嫌拒不执行判决、裁定罪等）。
建议：
- 在出借前，出借人应充分了解借款人的信用状况和还款能力，避免向无还款能力或信用不佳的人出借资金。
- 签订书面借款合同，明确借款金额、期限、利息、违约责任等条款，以保障自己的权益。
- 在借款纠纷发生后，及时采取法律措施维护自己的权益，避免错过诉讼时效等法律风险。
如有任何疑问或需要进一步的法律帮助，请直接向我咨询。