结论：第三者不能仅以男方挪用公款为由拒绝返还夫妻共同财产。以下从多个角度进行分析：
一、法律关系分析
夫妻共同财产的法律性质：
- 根据《中华人民共和国民法典》的相关规定，夫妻在婚姻关系存续期间所得的财产，除法律另有规定或夫妻另有约定外，属于夫妻共同财产，归夫妻共同所有。
- 夫妻共同财产受法律保护，任何一方不得擅自处分。若一方未经另一方同意，擅自将夫妻共同财产赠与第三者，该赠与行为通常被视为无效，因为这侵犯了另一方的财产权益。
第三者取得财产的合法性：
- 第三者若明知或应知所取得的财产是夫妻共同财产，且该财产的取得是基于无效的赠与行为，那么第三者取得该财产就没有合法依据。
- 在这种情况下，第三者应当返还该财产，因为其没有合法的权利基础来占有该财产。
男方挪用公款与第三者返还财产的关系：
- 男方挪用公款是另一法律关系，与第三者是否应返还夫妻共同财产无直接关联。
- 即使男方挪用公款，这也不能成为第三者拒绝返还夫妻共同财产的理由。因为第三者返还财产的义务是基于其取得财产的非法性，而不是基于男方的行为是否合法。
二、实际操作建议
收集证据：
- 若要起诉第三者返还夫妻共同财产，首先需要收集充分的证据来证明该财产属于夫妻共同财产，以及男方未经另一方同意擅自将该财产赠与第三者。
- 证据可以包括银行转账记录、聊天记录、证人证言等。
提起诉讼：
- 在收集到充分证据后，可以向法院提起诉讼，要求第三者返还夫妻共同财产。
- 法院将根据事实和法律规定，判断第三者是否应返还财产，并作出相应的判决。
考虑男方挪用公款的情况：
- 如果男方确实存在挪用公款的行为，这可能构成另一刑事案件。但在此情况下，仍应单独处理第三者返还夫妻共同财产的问题。
- 可以向相关部门举报男方的挪用公款行为，但这并不影响对第三者返还财产的追索。
三、可能遇到的法律后果
第三者返还财产：
- 如果法院认定第三者取得财产没有合法依据，那么第三者将被判决返还该财产。
男方承担法律责任：
- 如果男方挪用公款的行为被查实，他可能面临刑事处罚，如有期徒刑、罚金等。
- 同时，男方还可能因擅自处分夫妻共同财产而承担民事责任，如赔偿另一方的损失等。
总结与建议：第三者不能以男方挪用公款为由拒绝返还夫妻共同财产。若遇到此类情况，建议收集充分证据并提起诉讼，要求第三者返还财产。同时，也可以考虑向相关部门举报男方的挪用公款行为。如有任何疑问或需要进一步的法律帮助，请直接向我咨询。