结论：离婚后，丈夫一般不可以随意起诉妻子要求不支付离婚协议中约定的房贷部分，但在特定情况下，丈夫可能有起诉并获得支持的可能性。以下从不同角度进行分析：
一、离婚协议的效力
离婚协议是夫妻双方在离婚时，就财产分割、子女抚养、债务承担等问题达成的协议。一旦离婚协议生效，即对双方具有法律约束力，双方应当按照协议的约定履行各自的义务。在您所描述的情况中，离婚协议中明确写了丈夫要支付一部分房贷，这是双方自愿达成的约定，丈夫应当遵守。
二、丈夫起诉妻子的可能情况及法律分析
存在欺诈、胁迫等情形：
- 如果丈夫在签订离婚协议时，存在被欺诈、胁迫等情形，导致其在违背真实意愿的情况下签订了协议，那么丈夫可以在法定期限内（一般为一年）向法院申请撤销该离婚协议中关于房贷支付的部分。
- 法律依据：根据《中华人民共和国民法典》的相关规定，因欺诈、胁迫等情形签订的合同，受损害方有权请求人民法院或者仲裁机构予以撤销。
协议内容显失公平：
- 如果离婚协议中关于房贷支付的约定显失公平，例如，丈夫承担的房贷支付义务远远超过了其经济能力，而妻子却未承担任何相应义务，那么丈夫也可能有权向法院起诉要求变更或撤销该约定。
- 法律依据：根据《中华人民共和国民法典》的相关规定，显失公平的合同，受损害方有权请求人民法院或者仲裁机构予以变更或者撤销。但需要注意的是，显失公平的认定需要严格的标准，且丈夫需要承担举证责任。
妻子存在违约行为：
- 如果妻子在离婚后存在违约行为，例如，未按照协议约定履行其他义务（如抚养子女、支付其他费用等），且该违约行为与房贷支付义务存在关联或影响，那么丈夫可能有权以妻子违约为由，向法院起诉要求调整房贷支付义务。但这种情况较为复杂，需要具体分析协议内容及违约情况。
三、法律建议
- 遵守协议约定：在大多数情况下，丈夫应当遵守离婚协议中关于房贷支付的约定。如果丈夫认为协议存在不公平或不合理之处，应当在签订协议前与妻子进行充分协商，或寻求专业律师的帮助。
- 收集证据：如果丈夫认为存在欺诈、胁迫、显失公平或妻子违约等情形，应当及时收集相关证据，以便在必要时向法院提起诉讼。
- 寻求法律帮助：如果丈夫对离婚协议或房贷支付义务存在疑问或争议，建议及时咨询专业律师，以便获得更具体、更专业的法律建议。
最后，离婚协议是双方自愿达成的约定，具有法律约束力。在大多数情况下，丈夫应当遵守协议中关于房贷支付的约定。如果存在特殊情况或争议，建议及时咨询专业律师并收集相关证据，以便在必要时维护自己的合法权益。如果您有任何法律问题或需要进一步的法律帮助，请直接向我咨询。