银行直接扣划您的养老保险来偿还集体贷款，一般是不合法的。以下从不同角度为您详细分析：

1. 从法律关系主体角度
   • 集体修公路所贷的款项，借款主体通常是集体组织，比如村委会或者村集体经济合作社等。而您个人并非该借款合同的直接主体，根据合同的相对性原则，银行应当向借款的集体组织主张还款，而不能直接针对您个人采取扣划措施。
   • 您的养老保险金是您个人基于与社保机构等建立的养老保险关系而享有的权益，与集体贷款没有直接的法律关联。银行无权突破这种法律关系的界限，擅自扣划您的养老保险。
2. 从财产性质角度
   • 养老保险金具有特定的人身专属性，它是为了保障您在年老、丧失劳动能力等情况下能够维持基本生活而设立的。这种财产受到法律的严格保护，非因法定事由和法定程序，任何单位和个人都不得侵占或挪用。
   • 银行如果要实现债权，应当通过合法的途径，比如向法院起诉集体组织，在获得生效判决后，申请法院对集体组织的财产进行执行。而不能将您的个人养老保险金作为偿还集体债务的对象。
3. 从执行程序角度
   • 即使集体组织确实无力偿还贷款，银行要执行相关财产，也必须遵循严格的法律程序。法院在执行过程中，会依法审查被执行人的财产状况，对于属于被执行人合法所有的财产才会采取执行措施。
   • 而您的养老保险金并不属于集体组织的财产，银行不能绕过法律规定的执行程序，自行扣划您的养老保险。如果银行采取了这样的行为，您可以向相关部门进行投诉，也可以通过法律途径维护自己的合法权益，比如向法院提起诉讼，要求银行返还被扣划的养老保险金并赔偿相应的损失。

建议您采取以下措施：

1. 与银行进行沟通，明确告知银行其扣划您养老保险的行为是不合法的，要求银行立即停止该行为并返还已扣划的款项。
2. 收集相关证据，如养老保险金的缴纳记录、银行扣划的凭证等，以备后续维权使用。
3. 如果银行拒绝纠正其错误行为，您可以向当地的银保监会等金融监管部门进行投诉，反映银行的不当行为。
4. 必要时，您可以向法院提起诉讼，通过法律手段维护自己的合法权益。

如果您还有其他关于此事的疑问或者需要进一步的法律帮助，请随时向我咨询。