针对“对方代理人违规，是起诉对方还是代理人”这一问题，核心结论在于：需根据代理人违规行为的具体情形及造成的后果，来决定起诉对象，可能是对方，也可能是代理人，或者两者均起诉。以下从不同角度进行详细分析：
一、代理人违规行为的具体情形及后果
超越代理权限：若代理人超越了其被授予的代理权限进行行为，且该行为给被代理人（即您）造成了损失，那么您有权要求代理人承担赔偿责任。在此情况下，若对方知晓或应当知晓代理人的超越权限行为，并因此受益，您可能同时起诉对方和代理人。
滥用代理权：代理人滥用代理权，如与自己进行交易、与第三人恶意串通损害被代理人利益等，同样需要承担赔偿责任。若对方与代理人存在恶意串通，您可一并起诉对方和代理人。
未履行代理职责：若代理人未按照约定履行代理职责，导致您遭受损失，您也有权要求代理人赔偿。在此情况下，若对方对代理人的不履行行为存在过错，如未提供必要协助或信息，您可能考虑起诉对方。
二、法律途径的选择
协商：在发现代理人违规行为后，您可先尝试与代理人协商解决，要求其纠正违规行为并赔偿损失。若协商成功，则无需通过法律途径解决。
仲裁或诉讼：若协商不成，您可依据双方签订的委托代理合同中的争议解决条款，通过仲裁或向法院提起诉讼来维护权益。在此过程中，您需要提供充分证据证明代理人的违规行为及自身因此遭受的损失。
三、起诉对象的确定
起诉代理人：若代理人的违规行为直接导致了您的损失，且对方对此无过错，您通常应起诉代理人，要求其承担赔偿责任。
起诉对方：若对方对代理人的违规行为存在过错，如指示、纵容或与代理人恶意串通，您可考虑起诉对方，要求其承担相应的法律责任。
同时起诉对方和代理人：在代理人违规行为严重，且对方对此存在过错的情况下，您可同时起诉对方和代理人，要求他们共同承担赔偿责任。
四、法律建议
收集证据：在起诉前，务必收集充分证据证明代理人的违规行为及自身因此遭受的损失。这些证据可能包括委托代理合同、代理人违规行为的书面记录、损失计算依据等。
咨询专业律师：虽然我作为胡军律师可以为您提供法律咨询，但在具体案件中，涉及复杂的法律问题和证据收集，建议您在起诉前咨询专业律师，以确保您的权益得到充分保障。
注意诉讼时效：根据《民法典》规定，向人民法院请求保护民事权利的诉讼时效期间为三年。自权利人知道或者应当知道权利受到损害以及义务人之日起计算。因此，在发现代理人违规行为后，应及时采取行动，以免错过诉讼时效。