只给赡养费不回家一般不算遗弃。遗弃是指对于年老、年幼、患病或其他没有独立生活能力的人，负有扶养义务却拒绝扶养，且情节恶劣的行为。构成遗弃罪需满足特定条件，如被遗弃者是无独立生活能力的人，行为人负有扶养义务，且拒绝扶养并达到情节恶劣的程度。

在只给赡养费不回家的情况下，虽然行为人没有直接照顾被赡养者，但仍然提供了经济上的支持，即赡养费。这表明行为人并未完全拒绝扶养，而是选择了以经济支持的方式履行扶养义务。因此，这种行为通常不符合遗弃罪的构成要件。

然而，需要注意的是，赡养义务不仅包括经济上的支持，还包括精神上的关怀和照顾。如果行为人长期不回家，也不关心被赡养者的生活状况和精神需求，那么这种行为可能被视为对被赡养者的冷漠和忽视，虽然不构成遗弃罪，但也可能引发道德上的谴责或家庭关系的紧张。

综上所述，只给赡养费不回家一般不算遗弃，但行为人应当意识到赡养义务的全面性，包括经济支持和精神关怀，并尽可能履行自己的义务，以维护家庭关系的和谐与稳定。如果你在这方面有进一步的法律问题或需要更详细的解释，可以直接向我咨询。