关于“人渣父亲可以不赡养吗”这个问题，首先我要明确告诉你，赡养父母是法定义务，在大多数情况下，子女必须履行这一义务。然而，也存在一些特殊情况，我们可以特殊对待。

如果父亲存在严重伤害子女身心健康的行为，比如长期虐待或遗弃子女，子女可以在证据充分的情况下，向法院提起诉讼，请求判定减轻或免除赡养义务。法院会根据具体情况进行判定，可能会作出减轻或免除赡养义务的决策。

另外，如果父亲有足够的经济能力维持自身生活，并且明确表示不需要子女赡养，这种表示是真实、自愿且合法的，那么子女可能暂时不需要履行赡养义务。但请注意，一旦父亲情况发生变化，需要赡养时，子女仍有义务履行。

总的来说，除非存在上述特殊法定情形，否则子女必须履行赡养父亲的义务。这是中华民族的传统美德，也是法律要求。如果你面临类似问题，建议咨询专业法律人士以获取更具体的法律建议。当然，你也可以直接向我提问，我会尽我所能为你提供帮助。