双方把委托书原件撤回的行为本身并不直接构成违法，但具体是否违法需根据撤回的时机、方式以及是否违反相关法律规定或合同约定来判断。以下从不同角度进行详细分析：

一、委托书撤回的合法性基础

1. 委托关系的性质：委托关系是基于双方信任而建立的，委托人或受托人均有权在合理范围内解除或撤回委托。这种撤回行为，本质上是对委托关系的一种终止或变更。

2. 法律原则：根据《中华人民共和国民法典》中关于委托合同的相关规定，委托人或者受托人可以随时解除委托合同。这意味着，在一般情况下，双方均有权撤回委托书，且这种撤回行为是合法的。

二、撤回委托书原件可能违法的情形

1. 违反合同约定：如果双方在委托书中明确约定了撤回的条件、程序或限制，而一方未经对方同意擅自撤回委托书原件，则可能构成违约。此时，违约方需承担相应的违约责任，如赔偿损失等。

2. 损害第三方利益：如果撤回委托书原件的行为导致第三方利益受损，且该第三方是基于对委托书的信赖而进行了相关行为，那么撤回方可能需承担侵权责任。例如，在委托代理购房、购车等交易中，如果撤回委托书导致交易无法完成，给卖方造成损失的，撤回方可能需承担赔偿责任。

3. 违反法律法规的强制性规定：在某些特定情况下，撤回委托书原件可能违反法律法规的强制性规定。例如，在涉及国家安全、公共利益或他人合法权益的场合，未经相关部门批准或同意擅自撤回委托书，可能构成违法行为。

三、撤回委托书原件的注意事项

1. 及时沟通：在撤回委托书原件前，双方应充分沟通，确保对方了解撤回的意图和原因，并尽量达成一致意见。这有助于减少纠纷和损失。

2. 书面通知：为了确保撤回行为的合法性和有效性，建议双方以书面形式通知对方撤回委托书原件，并保留好相关证据。这有助于在后续纠纷中证明自己的立场和主张。

3. 考虑后果：在撤回委托书原件前，双方应充分考虑可能产生的后果和影响，包括是否会对第三方造成损失、是否需要承担违约责任等。这有助于做出更加明智和合理的决策。

如有具体法律问题或需要进一步的法律建议，请直接向我咨询。我将根据您的具体情况和需求，提供更加详细和专业的法律解答。