结论概述：男方在认下孩子四年后，一要钱就怀疑孩子不是他的并找借口，这种行为可能触犯法律中的名誉权侵权，若存在遗弃行为还可能涉及遗弃罪，同时这种行为也违反了道德义务。以下是对此问题的详细分析：

1. 名誉权侵权：

   • 法律背景：根据《中华人民共和国民法典》的相关规定，自然人享有名誉权，任何组织或者个人不得以侮辱、诽谤等方式侵害他人的名誉权。男方在无确凿证据的情况下，公开或私下质疑孩子的身世，可能构成对女方及孩子名誉权的侵害。
   • 法律后果：若女方或孩子因此受到精神损害或社会评价降低，有权要求男方停止侵害、恢复名誉、消除影响、赔礼道歉，并可能要求赔偿精神损失。

2. 遗弃罪（若存在遗弃行为）：

   • 法律背景：根据《中华人民共和国刑法》的相关规定，对于年老、年幼、患病或者其他没有独立生活能力的人，负有扶养义务而拒绝扶养，情节恶劣的，构成遗弃罪。若男方因怀疑孩子非亲生而拒绝履行抚养义务，且情节恶劣（如长期不提供生活费用、不关心孩子生活等），则可能构成遗弃罪。
   • 法律后果：若构成遗弃罪，男方可能面临五年以下有期徒刑、拘役或者管制的刑事处罚。

3. 道德义务违反：

   • 道德背景：无论孩子是否为男方亲生，男方在认下孩子并共同生活多年后，已与孩子形成了事实上的抚养关系，应承担一定的道德义务和责任。男方因怀疑而拒绝履行抚养义务，不仅违反了法律，也违背了社会道德和伦理。
   • 建议：男方应理性对待怀疑，通过合法途径（如亲子鉴定）解决疑虑，而不是采取逃避或指责的方式。若亲子鉴定结果证明孩子非亲生，男方仍有权根据实际情况和法律规定，与女方协商解决抚养问题，但不应无故拒绝履行已形成的抚养义务。

行动建议：

• 若女方或孩子因此受到损害，建议收集相关证据（如男方质疑的言论、拒绝抚养的证据等），并咨询专业律师，通过法律途径维护自身权益。
• 若男方希望解决疑虑，建议通过合法途径进行亲子鉴定，并根据鉴定结果与女方协商解决后续问题。

进一步思考：

• 在处理此类纠纷时，应充分考虑孩子的利益和感受，避免对孩子造成不必要的伤害。
• 双方应保持冷静和理性，通过沟通协商解决分歧，必要时可寻求第三方调解或法律援助。

如有任何法律疑问或需要进一步的法律帮助，请直接向我咨询。