结论：托人办事后已退回大部分款项，剩余部分打借条是可以的，但需注意借条的合法性和有效性，以及可能涉及的法律风险。
分析说明：
借条的合法性：
- 借条作为债权债务关系的凭证，在法律上是受到认可的。只要借条内容真实、合法，且双方自愿签署，就具有法律效力。
- 在您的情况下，如果剩余部分款项是对方应退还但尚未退还的，且您与对方就这部分款项达成了借款合意，那么签署借条是合法的。
借条的有效性：
- 借条应明确记载借款金额、借款期限、利息（如有）、还款方式等关键信息，以确保其有效性。
- 双方应在借条上签字或盖章，并注明签署日期，以证明借条的真实性和时效性。
可能涉及的法律风险：
- 借款用途的合法性：如果借款用途不合法（如用于非法活动），则借条可能无效，且您可能面临法律风险。
- 利息的合法性：如果借条中约定的利息过高，可能违反法律法规的强制性规定，导致利息部分无效。
- 还款能力：在签署借条前，您应评估对方的还款能力，以避免因对方无法还款而引发的纠纷。
特殊场景：
- 如果托人办事本身涉及违法或违规行为，那么即使签署了借条，也可能因借款用途不合法而导致借条无效。
- 如果对方在签署借条后拒绝还款，您可能需要通过法律途径来维护自己的权益，如起诉至法院要求对方还款。
行动建议：
- 确保借条内容合法有效：在签署借条前，仔细审查借条内容，确保所有条款均合法、合规，并明确双方的权利和义务。
- 保留相关证据：除了借条外，还应保留与托人办事相关的所有证据，如转账记录、聊天记录等，以备不时之需。
- 评估对方还款能力：在签署借条前，对对方的还款能力进行评估，以降低因对方无法还款而引发的风险。
- 及时咨询专业律师：如果您对借条的签署或后续的法律风险存在疑虑，建议及时咨询专业律师，以获取更具体的法律建议。
后续思考：在签署借条后，您应密切关注对方的还款情况。如果对方出现逾期还款或拒绝还款的情况，您应及时采取措施来维护自己的权益，如与对方协商、发送律师函或起诉至法院等。同时，您也应反思托人办事的行为本身是否合法合规，以避免未来再次陷入类似的法律纠纷中。如有任何疑问或需要进一步的法律帮助，请随时向我咨询。