一个男人不养老人、不养小孩，是否犯法需根据具体情况判断，轻者可能构成民事违法行为，重者可能构成刑事犯罪。以下从不同角度进行详细分析：

一、不养小孩的法律分析

1. 作为直接抚养孩子的一方

   • 民事违法行为：如果男方作为直接抚养方，偶尔不履行抚养义务，如短时间内不支付孩子的生活费用或对孩子的生活照料有所疏忽，这虽然违反了法定的抚养义务，但通常不构成犯罪，而是属于民事违法行为。此时，女方或其他监护人可以以孩子的名义向法院提起诉讼，要求男方支付抚养费并履行抚养义务。法院会根据具体情况审理并作出判决，若男方拒不执行，可申请强制执行。
   • 刑事犯罪行为：若男方故意不履行抚养义务，导致孩子生活陷入严重困境，如长期不提供基本生活保障，使孩子饥饿、患病或面临生命危险，这可能构成遗弃罪。根据《中华人民共和国刑法》第二百六十一条，对于年老、年幼、患病或其他没有独立生活能力的人，负有扶养义务而拒绝扶养，情节恶劣的，可处五年以下有期徒刑、拘役或者管制。

2. 作为不直接抚养孩子的一方

   • 支付抚养费义务：夫妻离婚后，若孩子由女方直接抚养，男方应负担部分或全部抚养费。费用多少和期限长短可由双方协议确定，协议不成则由法院判决。若男方不支付抚养费，同样属于民事违法行为。女方可先与男方协商，协商不成可向法院申请强制执行，法院有权采取多种措施强制其履行支付义务。
   • 探视与关爱义务：虽然男方不直接抚养孩子，但仍应关心孩子的成长，在合理时间探视并给予必要的关爱和教育。如男方完全对孩子不管不顾，虽在法律上目前无明确惩处措施，但若因此对孩子造成严重心理或其他伤害，女方可在有充分证据的情况下通过法律途径要求男方承担相应责任，如限制探视权等。

二、不养老人的法律分析

1. 民事违法行为：子女对父母负有赡养义务，这是基于《中华人民共和国民法典》的相关规定。如果男方不赡养老人，如不支付赡养费、不照顾老人的生活起居等，这违反了法定的赡养义务，属于民事违法行为。老人或其他亲属可以以老人的名义向法院提起诉讼，要求男方支付赡养费并履行赡养义务。法院会根据具体情况审理并作出判决，若男方拒不执行，可申请强制执行。
2. 刑事犯罪行为：若男方故意不履行赡养义务，导致老人生活陷入严重困境，如长期不提供基本生活保障，使老人饥饿、患病或面临生命危险，且情节恶劣的，同样可能构成遗弃罪，需承担刑事责任。

三、特殊情况说明

• 若男方因特殊困难暂时无法履行抚养或赡养义务，且对老人或孩子未造成不良影响，或经老人或孩子其他亲属同意暂时不养，并在后续积极履行义务，这种情况下可能不构成违法。但建议仍应尽量按判决或协议履行，以避免不必要的法律纠纷。

总结与建议：

无论是抚养孩子还是赡养老人，都是法定的义务，必须履行。如果男方不履行这些义务，轻者可能构成民事违法行为，需承担民事责任；重者可能构成遗弃罪，需承担刑事责任。因此，建议男方在抚养孩子和赡养老人问题上应谨慎对待，积极履行法定义务。如果遇到相关问题或纠纷，可以直接向我咨询，我会根据具体情况提供专业的法律建议和帮助。