对方不给抚养费，一般不可以直接起诉遗弃罪。下面我详细为您解释：

一、遗弃罪的构成

遗弃罪是指对于年老、年幼、患病或者其他没有独立生活能力的人，负有扶养义务而拒绝扶养，情节恶劣的行为。单纯的不支付抚养费，通常尚未达到遗弃罪所要求的“情节恶劣”的程度。比如，若只是短期拖欠抚养费，且有合理原因，如经济暂时困难等，一般不宜认定为遗弃罪。

二、法律救济途径

对于不支付抚养费的情况，直接的法律救济途径是向法院提起民事诉讼。抚养子女是父母的法定义务，一方不支付抚养费，另一方可以以子女的名义向法院起诉，要求对方支付抚养费。法院会根据具体情况作出判决，若对方仍不履行判决，可申请强制执行。

三、遗弃罪的特殊情况

只有在不支付抚养费的行为极其恶劣，例如将子女遗弃在危险环境中，对子女的生命、健康造成严重威胁等，才可能构成遗弃罪。此时，可以向公安机关报案，由公安机关立案侦查，再由检察机关提起公诉。

四、实际操作建议

1. 协商：首先尝试与对方协商，看是否能够达成支付抚养费的协议。
2. 起诉：若协商无果，可以准备相关证据，如出生证明、亲子鉴定报告、对方收入状况的证据等，向法院提起民事诉讼，要求对方支付抚养费。
3. 申请强制执行：若对方仍不履行法院判决，可以向法院申请强制执行，法院有权采取多种措施来保障抚养费的支付。

综上所述，对方不给抚养费，一般应通过民事诉讼来追讨，而不是直接起诉遗弃罪。除非对方的行为极其恶劣，构成了遗弃罪，否则不宜轻易采取刑事手段。如有任何疑问或需要进一步的法律帮助，请直接向我咨询。