担保人一般无权直接扣除借款人的款项，在一般情况下，这种行为是不合理且不合法的。下面我将从不同角度为您详细分析：

一、担保人的基本责任与权利

担保人在债务关系中，主要承担的是在债务人无法履行债务时，按照约定向债权人承担担保责任，比如代为偿还债务。但这并不意味着担保人有权直接扣留借款人的钱财。因为，未经借款人同意私自扣留其钱财，会侵犯借款人对自身财产的合法占有和支配权，构成对财产权的侵害，担保人还可能因此面临民事赔偿责任。

二、合法“扣除”款项的情形

虽然一般情况下担保人无权直接扣留借款人的款项，但也存在一些特殊情形，使得担保人的这种行为具有一定合法性：

1. 存在合法约定：

   • 如果担保人与借款人在事前签订的合同中，明确约定了在某些特定情况下担保人有权扣留借款人一定金额的款项，以保障自身权益或督促借款人履行债务，且该约定不违反法律法规的强制性规定和公序良俗，那么这种情况下担保人扣留借款人钱的行为是具有一定合法性的。例如，双方可以约定，若借款人逾期还款，担保人有权从其特定账户中扣除相应金额用于偿还部分债务。

2. 法定抵销权：

   • 当出现法定的抵销权情形时，如果担保人对借款人也享有合法债权，且符合法定抵销条件，担保人可以主张抵销。这意味着在一定程度上，“扣留”了对应款项。比如，借款人同时欠付担保人一笔借款，且两笔债务都已到清偿期，那么担保人在符合法律规定时可以主张抵销。

三、非法扣留的法律后果与应对措施

如果担保人非法扣留借款人的钱财，借款人可以先与担保人进行沟通协商，要求返还。协商不成的，借款人可以通过向人民法院提起诉讼等法律途径来维护自己的合法权益。法院将根据事实情况和法律规定，对担保人的行为进行评判，并作出相应的裁决。

四、担保人的追偿权

担保人在承担保证责任后，有权向债务人追偿。根据《中华人民共和国民法典》的相关规定，保证人承担保证责任后，除当事人另有约定外，有权在其承担保证责任的范围内向债务人追偿，享有债权人对债务人的权利。这意味着担保人应通过合法途径向债务人追偿，以弥补自己因承担保证责任而遭受的损失，而不是通过直接扣留借款人的钱财来实现。

总结与建议：

担保人扣留借款人的钱在一般情况下是不合理且不合法的。担保人应依法履行其担保责任，并在承担保证责任后通过法律程序向债务人追偿。同时，借款人也应了解自己的合法权益，并在遇到非法扣留情况时及时采取法律措施维护自己的权益。如果您在这方面有任何疑问或需要进一步的法律帮助，请随时向我咨询。