如果侵权商标败诉后不按判决来赔付4000元，那么会面临一系列的法律后果。

首先，败诉方必须履行法院的判决。如果拒绝执行，胜诉方有权向法院申请强制执行。这意味着，法院有权采取很多强制措施，像是冻结银行账户、查封财产等，甚至可能被追究刑事责任。所以，最好还是按判决来履行，避免不必要的麻烦。

具体来说，根据《民事诉讼法》的相关规定，发生法律效力的民事判决、裁定，当事人必须履行。一方拒绝履行的，对方当事人可以向人民法院申请执行，也可以由审判员移送执行员执行。在执行过程中，法院会查明被执行人的财产情况，并采取相应的执行措施。

因此，我建议你还是按判决的金额进行赔付，避免后续可能出现的法律风险和损失。如果你有任何疑问或需要进一步的法律帮助，可以直接向我咨询，我会尽我所能为你提供专业的法律建议和支持。