结论：买化肥交订金后对方以其他理由拒不给剩余的钱，这一行为是否构成诈骗，不能一概而论，需要结合具体情况来判断。
分析角度一：从诈骗罪的构成要件来看
诈骗罪是指以非法占有为目的，用虚构事实或者隐瞒真相的方法，骗取数额较大的公私财物的行为。要构成诈骗罪，必须同时满足以下几个要件：
主观方面：行为人具有非法占有的目的。这意味着，行为人从一开始就打算通过欺骗手段获取财物，并且没有打算归还。
客观方面：行为人实施了虚构事实或隐瞒真相的行为。这通常表现为编造虚假理由、提供虚假信息等，使被害人产生错误认识。
因果关系：由于行为人的欺骗行为，被害人产生了错误认识，并基于这种错误认识处分了财物。
数额要求：诈骗的财物数额需要达到较大的标准，具体数额标准可能因地区而异。
在您描述的情况中：
如果对方在收取订金时，就根本没有打算履行交付化肥的义务，而是打算通过收取订金来非法占有您的财物，并且实施了虚构事实或隐瞒真相的行为（如谎称化肥已备好、即将发货等），那么这种行为可能构成诈骗。
如果对方在收取订金后，由于某些不可抗力或意外情况（如化肥生产出现问题、运输受阻等）导致无法按时交付化肥，并且对方没有故意隐瞒这些情况或编造虚假理由来逃避责任，那么这种行为通常不构成诈骗，而可能属于合同违约。
分析角度二：从合同违约的角度来看
如果您与对方之间签订了化肥买卖合同，并且您已经按照合同约定支付了订金，那么对方就有义务按照合同约定的时间、地点和方式交付化肥。如果对方未能履行这一义务，并且没有合理的理由或证据来支持其无法履行的原因，那么对方的行为可能构成合同违约。
在合同违约的情况下：
您有权要求对方继续履行合同（如交付化肥）或承担违约责任（如赔偿损失、支付违约金等）。
如果对方拒绝履行合同或承担违约责任，您可以通过法律途径来维护自己的权益，如向法院提起诉讼或申请仲裁。
建议：
收集证据：无论对方的行为是否构成诈骗或合同违约，您都应该尽可能收集相关证据来支持自己的主张。这包括合同、付款凭证、通信记录、证人证言等。
与对方协商：在采取法律行动之前，您可以尝试与对方进行协商，看是否能够达成和解或找到其他解决方案。
寻求法律帮助：如果您无法与对方达成和解或不确定如何维护自己的权益，可以向我咨询或寻求其他专业律师的帮助。
总之，买化肥交订金后对方以其他理由拒不给剩余的钱是否构成诈骗，需要根据具体情况来判断。如果您遇到类似情况，建议及时收集证据并寻求法律帮助。