结论：针对您土地征收时签订了安置协议，但对方现在以违章为由拒绝支付安置费的情况，您可以通过以下途径来维护自己的合法权益。

一、核查安置协议内容

1. 协议条款：首先，仔细审查您与征收方签订的安置协议，确认协议中是否明确约定了安置费的支付条件、时间、金额等关键条款。如果协议中并未将房屋是否违章作为支付安置费的前提条件，那么征收方以此为由拒绝支付安置费可能构成违约。

2. 违约责任：如果征收方确实存在违约行为，根据协议中的违约责任条款，您有权要求征收方承担违约责任，包括支付拖欠的安置费及可能产生的违约金。

二、确认房屋是否违章

1. 违章建筑认定：征收方称您的房屋为违章建筑，需要提供充分的证据来支持这一说法。违章建筑通常指的是未经规划、建设等部门批准，擅自搭建的建筑物。如果您的房屋已经存在多年，且在此期间并未收到相关部门的违章建筑认定通知，那么征收方的说法可能缺乏依据。

2. 法律程序：即使您的房屋确实存在违章情况，征收方也不能直接以此为由拒绝支付安置费。根据相关法律法规，对于违章建筑的处理需要遵循一定的法律程序，如发出整改通知、进行行政处罚等。在未经法定程序处理之前，征收方无权单方面决定不支付安置费。

三、采取法律措施

1. 协商谈判：在确认征收方存在违约行为且房屋并非违章建筑（或即使违章但未经法定程序处理）的情况下，您可以首先尝试与征收方进行协商谈判，要求其按照协议约定支付安置费。

2. 行政复议或诉讼：如果协商谈判无果，您可以考虑向相关部门申请行政复议或向人民法院提起诉讼。在行政复议或诉讼过程中，您需要提供充分的证据来证明征收方的违约行为以及您的合法权益受到侵害的事实。

3. 申请强制执行：如果最终您获得了胜诉判决，但征收方仍然拒绝履行判决义务，您可以向人民法院申请强制执行，要求征收方支付拖欠的安置费及可能产生的其他费用。

四、注意事项

1. 保留证据：在整个过程中，您需要妥善保留与征收方签订的安置协议、相关通知、沟通记录等证据材料，以便在需要时提供证明。

2. 及时行动：由于法律程序可能耗时较长，建议您在发现问题后尽快采取行动，以免错过最佳的维权时机。

3. 寻求专业帮助：如果您在处理过程中遇到困难或不确定如何操作，可以向我咨询，我会根据您的具体情况提供专业的法律建议和帮助。