结论：仅从小被妈妈养大这一情况，不能直接判定父亲没尽抚养义务，需结合具体事实和法律规定综合判断。
法律背景与抚养义务的界定
根据《中华人民共和国民法典》的相关规定，父母对未成年子女负有抚养、教育和保护的义务。这种义务是法定的，不因父母婚姻状况的变化或其他因素而免除。抚养义务不仅包括提供生活费用，还包括给予关爱、教育和保护等精神层面的支持。
父亲是否未尽抚养义务的判断标准
经济支持方面：
- 如果父亲在子女成长过程中，未提供必要的生活费用、教育费用等经济支持，且没有合理的理由（如因疾病、失业等客观原因无法支付），则可能构成未尽抚养义务。
- 举例：若父亲长期未支付抚养费，且有能力支付却拒不支付，这明显违反了抚养义务。
情感关怀与教育方面：
- 抚养义务不仅限于经济支持，还包括对子女的情感关怀和教育。如果父亲长期缺席子女的生活，不关心子女的成长，不参与子女的教育，也可能构成未尽抚养义务。
- 举例：若父亲虽然支付了抚养费，但从未与子女见面，不关心子女的学习和生活情况，这也可能被视为未尽抚养义务。
特殊情况下的抚养义务：
- 在某些特殊情况下，如父母分居或离婚，抚养义务的履行方式可能发生变化。但无论如何变化，父母都应确保子女的基本生活和教育需求得到满足。
- 举例：若父母离婚后，子女随母亲生活，父亲应按照离婚协议或法院判决支付抚养费，并尽可能参与子女的生活和教育。
可能的法律后果
- 如果父亲被认定未尽抚养义务，子女有权要求父亲支付拖欠的抚养费，并可能要求父亲承担其他因未尽抚养义务而产生的费用。
- 在极端情况下，如果父亲的行为构成遗弃罪（如长期不履行抚养义务，导致子女生活无着落），还可能面临刑事处罚。
建议与行动
- 收集证据：如果您认为父亲未尽抚养义务，建议收集相关证据，如银行转账记录、聊天记录、证人证言等，以证明父亲未履行抚养义务的事实。
- 协商与调解：在收集到足够证据后，可以尝试与父亲进行协商或寻求第三方调解，以达成抚养义务的履行协议。
- 法律途径：如果协商和调解无果，您可以向法院提起诉讼，要求父亲履行抚养义务或支付拖欠的抚养费。
如果您有进一步的法律问题或需要更详细的法律建议，请直接向我咨询。