若丈夫仅内心怀疑孩子不是亲生的，并未公开宣扬，则不构成诽谤，不能起诉其诽谤。诽谤的构成需满足故意捏造并散布虚构事实，损害他人名誉的要件。在此情况下，丈夫的怀疑并未转化为公开的虚假陈述，因此不满足诽谤的构成要件。

若丈夫对外散布“孩子非亲生”等不实言论，导致他人名誉受损，则被怀疑方可以收集证据并起诉其诽谤。具体来说：

1. 证据收集：

   • 被怀疑方应尽可能收集能证明丈夫诽谤的各类证据，如短信、信件、通话录音、吵架时的录像等书面、音频或视频证据。
   • 若有了解情况的证人，也应获取他们的证言，以增强证据的证明力。

2. 协商与沟通：

   • 在收集好证据后，被怀疑方可以先尝试与丈夫进行沟通，明确要求其停止侵权行为，消除因此事造成的不良影响，并恢复孩子和自己的名誉。

3. 提起民事诉讼：

   • 如果协商不成，被怀疑方可以向法院提起民事诉讼，依据“谁主张，谁举证”的原则，提供之前收集的证据来证明丈夫的诽谤行为。
   • 一旦法院认定诽谤成立，丈夫需要承担相应的民事责任，如赔礼道歉、赔偿精神损害抚慰金等。

4. 刑事责任：

   • 在某些情节严重的情况下，丈夫的行为可能涉嫌侮辱、诽谤罪。此时，被怀疑方可以向公安机关报案，由公安机关进行侦查，检察院提起公诉，最终由法院定罪量刑。

若男方怀疑孩子不是亲生的，并希望确认亲子关系，可以向法院提起亲子关系诉讼。根据《民法典》的相关规定，对亲子关系有异议且有正当理由的，父或者母可以向人民法院提起诉讼，请求确认或者否认亲子关系。在此情况下，男方需要提供一些相关的证据，如孩子与自己在外貌、血型等方面的明显不同，或者其他间接证据指向孩子不是亲生的情况。法院会根据双方所提供的证据以及自身展开的调查情况来进行审理和判断。如果经过专业的鉴定确定了孩子确实不是男方亲生的，男方可以依据这个结果去主张自己的相关权利，如要求女方返还之前领取的抚养费等。

在处理此类问题时，建议保持冷静，通过合法途径维护自己和孩子的权益。如果有任何疑问或需要进一步的法律帮助，可以直接向我咨询。