要帐人一般没有权利直接扣他的钱。以下从不同角度为你详细分析：
合法债权实现途径
在债务债权关系中，如果对方欠你钱（即你是债权人，对方是债务人），你应当通过合法途径来主张自己的债权，而非直接扣钱。合法的途径包括但不限于：
- 协商：首先尝试与债务人进行友好协商，达成还款协议或分期还款计划。这种方式成本最低，也最有利于维护双方的关系。
- 调解：如果协商无果，可以寻求第三方调解机构的帮助，如人民调解委员会等，通过调解来达成还款协议。
- 诉讼：如果调解也未能解决问题，你可以向法院提起诉讼，要求债务人履行还款义务。法院会根据事实和法律作出判决，如果债务人拒不履行判决，你可以申请法院强制执行。
直接扣钱的法律风险
直接扣钱可能涉及以下法律风险：
- 侵犯财产权：未经债务人同意，擅自扣留其财产可能构成对债务人财产权的侵犯。根据《中华人民共和国民法典》的相关规定，财产权受法律保护，任何组织或者个人不得侵犯。
- 违法拘禁或限制人身自由：如果在扣钱过程中采取了非法拘禁、限制债务人人身自由等手段，还可能触犯《中华人民共和国刑法》中关于非法拘禁罪的规定，面临刑事处罚。
- 民事赔偿：如果因直接扣钱给债务人造成了损失，债务人还有权要求你承担民事赔偿责任。
特殊情况下的合法扣留
虽然一般情况下直接扣钱是不合法的，但在某些特殊情况下，你可能有权合法扣留债务人的财产。例如：
- 留置权：如果你与债务人之间存在合同关系，且你因该合同关系而合法占有债务人的动产，当债务人不履行到期债务时，你有权依照法律规定留置该财产，并有权就该财产优先受偿。但这种情况需要严格符合法律规定的条件，且留置的财产应当与债权属于同一法律关系。
- 法院执行：在法院判决生效后，如果债务人拒不履行判决，你可以申请法院强制执行。在执行过程中，法院有权依法查封、扣押、冻结、拍卖债务人的财产以清偿债务。但这一过程必须由法院依法进行，你不能自行扣留。
建议：在处理债务债权问题时，建议你始终遵循合法途径来主张自己的债权。如果遇到难以解决的问题，可以直接向我咨询，我会根据你的具体情况为你提供专业的法律建议。