不可以不给抚养费。

首先，无论你是否与他人领取结婚证，你对你与前配偶所生的两个孩子都负有抚养义务。这种抚养义务是基于你与孩子们之间的血缘关系，而不是基于你与孩子们的母亲的婚姻关系。因此，即使你与他人有了新的孩子，也不能免除你对前两个孩子的抚养义务。

其次，根据《民法典》第一千零八十五条的规定，离婚后，子女由一方直接抚养的，另一方应当负担部分或者全部抚养费。负担费用的多少和期限的长短，由双方协议；协议不成的，由人民法院判决。这意味着，无论你与前配偶是否就抚养费问题达成协议，你都必须承担一定的抚养费支付责任。

最后，抚养费包括生活费、教育费、医疗费等，是孩子们成长所必需的费用。如果你拒绝支付抚养费，不仅会对孩子们的生活造成负面影响，还可能引发法律纠纷。因此，建议你与前配偶协商确定抚养费的支付方式和金额，并按时履行支付义务。

综上所述，即使你与他人有了新的孩子，也不能免除你对前两个孩子的抚养义务和抚养费支付责任。如果你有任何疑问或需要进一步的法律帮助，请直接向我咨询。