结论：对方要求你还清剩余欠款否则不让开车干活的行为，在法律上可能构成侵权或非法限制人身自由，你有权通过法律途径维护自身权益。同时，你仍需履行还款义务，但对方的行为方式不合法。

详细分析：

1. 还款义务：

   • 你与对方之间存在借贷关系，你作为借款人，有义务按照约定的期限和方式归还借款。即使你已经归还了一部分，剩余的借款仍需继续归还。
   • 如果双方没有约定具体的还款期限，根据《中华人民共和国民法典》的相关规定，借款人可以随时返还；贷款人可以催告借款人在合理期限内返还。因此，对方有权要求你归还剩余借款。

2. 对方行为的合法性：

   • 对方要求你还清剩余欠款是合法的，但其采取不让开车干活的方式限制你的行动自由，则可能构成侵权或非法限制人身自由。
   • 根据《中华人民共和国民法典》中关于人身自由权的规定，任何组织或者个人不得以非法拘禁等方式剥夺、限制他人的行动自由，或者非法搜查他人身体。因此，对方的行为可能违反了这一规定。

3. 你的权益保护：

   • 你有权拒绝对方非法限制你行动自由的行为，并可以向公安机关报案，要求对方停止侵权行为并赔偿损失。
   • 同时，你仍需履行还款义务，但可以通过合法途径与对方协商还款方式、期限等，以避免不必要的纠纷。

4. 建议行动：

   • 与对方协商：首先尝试与对方进行友好协商，说明你的还款意愿和计划，争取达成一个双方都能接受的还款协议。
   • 保留证据：如果对方继续采取非法手段限制你的行动自由，务必保留好相关证据，如录音、录像、证人证言等，以便在需要时向公安机关报案或向法院提起诉讼。
   • 寻求法律帮助：如果你在处理此事过程中遇到困难或不确定如何操作，可以直接向我咨询，我会根据你的具体情况提供专业的法律建议和帮助。

后续思考：

• 在处理此类借贷纠纷时，双方应尽量保持冷静和理性，通过合法途径解决争议。
• 作为借款人，应按时履行还款义务，避免给自己带来不必要的法律风险和信用损失。
• 作为出借人，也应尊重借款人的合法权益，不得采取非法手段追讨债务。