首先明确结论：离异后，父母双方对子女的抚养义务是法定的，不直接抚养子女的一方应当支付抚养费。因此，您和对方分别不支付各自应承担抚养责任的孩子的抚养费，这种行为是违法的。
法律背景与依据
根据《中华人民共和国民法典》的相关规定，父母对未成年子女负有抚养、教育和保护的义务。这种义务不因父母离婚而消除。离婚后，子女无论由父或者母直接抚养，仍是父母双方的子女。父母对于子女仍有抚养、教育、保护的权利和义务。不直接抚养子女的父或者母，有探望子女的权利，另一方有协助的义务，同时应当负担部分或者全部抚养费。
具体分析
抚养费的支付义务：
- 离婚后，不直接抚养子女的一方应当支付抚养费，这是法定的义务。抚养费的数额和支付方式可以由双方协议确定；协议不成的，由人民法院判决。
- 抚养费的支付是为了保障未成年子女的基本生活和教育需求，确保他们能够健康成长。
不支付抚养费的法律后果：
- 如果一方不支付抚养费，另一方可以依法向人民法院提起诉讼，要求对方支付拖欠的抚养费。
- 人民法院在查明事实后，会判决不支付抚养费的一方限期支付。如果逾期仍不支付，另一方可以申请强制执行，包括但不限于查封、扣押、冻结财产等措施。
- 此外，不支付抚养费还可能影响个人的信用记录，对未来的生活和工作产生不利影响。
针对您的情况：
- 您和对方分别不支付各自应承担抚养责任的孩子的抚养费，这种行为违反了法律规定。
- 无论是老大还是老小，他们都是您的子女，您都有抚养的义务。不支付抚养费不仅违法，也违背了道德和伦理。
法律建议
协商解决：
- 您可以与对方进行协商，就抚养费的支付问题达成一致意见。这有助于维护双方的和谐关系，也有利于子女的健康成长。
法律途径：
- 如果协商不成，您可以依法向人民法院提起诉讼，要求对方支付拖欠的抚养费。同时，您也需要履行自己支付抚养费的义务。
关注子女需求：
- 无论最终如何解决抚养费问题，您都应该关注子女的需求，确保他们能够得到充分的关爱和照顾。
最后，抚养子女是父母的责任和义务，不因离婚而消除。希望您能够认真对待这个问题，依法履行自己的义务，为子女的健康成长贡献自己的力量。如果您还有其他法律问题或需要进一步的帮助，请随时向我咨询。