对方的行为属于非法限制人身自由，是违法的，您有权拒绝并寻求法律帮助。以下从不同角度为您详细分析：
一、对方行为的法律性质
根据《中华人民共和国刑法》的相关规定，非法拘禁他人或以其他方法非法剥夺他人人身自由是违法的，将受到法律的严惩。对方因您欠钱而限制您的人身自由，不让您走，甚至跟随您到任何地方，这种行为已经构成了非法限制人身自由，是违法的。
二、您的应对措施
保持冷静，避免冲突：
- 在面对对方非法限制人身自由的情况下，首先要保持冷静，不要与对方发生冲突或争执，以免事态升级。
明确拒绝，表明立场：
- 您可以明确告诉对方，他们的行为是违法的，您有权自由行动，并要求对方立即停止这种非法行为。
寻求帮助，保护自己：
- 如果对方不听劝阻，继续限制您的人身自由，您可以立即向周围的人求助，或者拨打110报警，让警方介入处理。
三、法律途径解决欠款问题
友好协商：
- 在处理欠款问题时，首先应尝试与对方友好协商，确定明确的还款方式和期限。这有助于维护双方的关系，并避免不必要的法律纠纷。
收集证据，提起诉讼：
- 如果协商无果，您应收集好借条、转账记录等相关证据，向人民法院提起诉讼，通过法律途径来维护自己的合法权益。
申请保全措施：
- 在情况紧急，不立即申请保全将会使合法权益受到难以弥补的损害时，您还可以在提起诉讼或申请仲裁前，向被保全财产所在地、被申请人住所地或对案件有管辖权的人民法院申请采取保全措施，以确保判决后能够顺利执行。
申请强制执行：
- 若法院判决后对方仍不履行还款义务，您可以进一步申请强制执行等程序来实现债权，确保自身权益得到有效保障。
四、注意事项
- 避免过激行为：在处理欠款问题时，应避免采取过激或非法的行为，如动手打人、非法拘禁等，以免自身触犯法律。
- 保留证据：无论采取哪种方式解决欠款问题，都应保留好相关证据，以便在需要时提供证明。
- 及时咨询：如果您在处理欠款问题过程中遇到任何法律疑问或困难，可以及时向我咨询，我会为您提供专业的法律建议和帮助。
总之，面对欠款问题，您应保持冷静和理智，坚持通过合法途径解决纠纷。如果对方采取非法手段限制您的人身自由，您有权拒绝并寻求法律帮助。同时，您也应积极采取法律措施来维护自己的合法权益。