赡养义务人主要指的是那些依法负有赡养责任的人。在大多数情况下，这主要包括老年人的子女。具体来说，根据《中华人民共和国老年人权益保障法》的相关规定，赡养人应当履行对老年人经济上供养、生活上照料和精神上慰藉的义务，这里的赡养人明确指的是老年人的子女以及其他依法负有赡养义务的人。

首先，我们明确一点，子女对父母的赡养义务是法定的，不因父母是否尽到抚养义务而免除。也就是说，即使父母在子女未成年时没有尽到抚养责任，子女在成年后，如果父母缺乏劳动能力或者生活困难，仍然有义务赡养父母。这是因为赡养义务是法律规定的，它体现了家庭成员之间的相互扶持和关爱。

当然，在实际情况中，如果父母在子女未成年时恶意不尽抚养义务，且父母有自我赡养的能力，那么子女在成年时可能会产生拒绝履行赡养义务的想法。但这种情况需要具体问题具体分析，不能一概而论。如果父母不尽抚养义务是因为没有能力抚养，或者父母除了依靠该子女赡养外没有其他可以依靠的，那么成年子女就不能以此为由拒绝履行赡养义务。

此外，除了子女之外，还有其他依法负有赡养义务的人，比如在某些情况下，孙子女、外孙子女也可能因为特定情况而负有赡养祖父母、外祖父母的义务。但这通常是在子女无法履行赡养义务，且孙子女、外孙子女有负担能力的情况下才会发生。

总的来说，赡养义务人主要是指老年人的子女，以及其他在特定情况下依法负有赡养义务的人。他们应当履行对老年人的经济供养、生活照料和精神慰藉等义务，确保老年人的基本生活需求得到满足。