对方违约时，不一定可以没收全部履约保证金。具体处理要视合同约定及实际情况而定。
合同有明确约定：
- 如果合同中对违约后履约保证金的处理有清晰规定，如明确写明违约方需承担违约责任，且保证金不予退还，那么一旦发生违约行为，守约方就有权没收这笔保证金。
合同未明确约定或约定不明：
- 依据《民法典》的相关规定，履约保证金具有担保性质。当一方违约给对方造成损失时，保证金可用于弥补损失。
- 若损失金额小于保证金数额，剩余部分应返还给违约方；若损失金额大于保证金数额，守约方还能要求违约方补足差额。
- 如果违约情况比较轻微，没有给对方造成实质性损失，或者在合理范围内，可以考虑部分返还保证金。
法律调整：
- 无论合同如何约定，如果违约方认为保证金数额过高，都有权通过诉讼等方式，请求法院按照公平原则和案件实际状况适当调整数额。
综上所述，对方违约时，是否可以没收履约保证金，以及没收多少，都需要根据合同的具体约定、违约的实际情况以及法律规定来综合判断。如果你在这方面有具体的法律问题或纠纷，可以直接向我咨询，我会根据你的具体情况给出更详细的法律建议。