结论：在您描述的情况下，即不拒绝男方来探视小孩但拒绝男方接小孩跟爸爸去居住，法院的判决会基于孩子的最佳利益原则，综合考虑多种因素来做出决定。

详细分析：

1. 探视权与居住权的不同：

   • 探视权是法律赋予非直接抚养方的一项权利，旨在保障其与孩子之间的亲子关系得以维持。探视的方式、时间等可以由双方协商确定，也可以由法院根据具体情况判决。
   • 居住权则涉及到孩子的生活环境和稳定性。如果男方希望接孩子去其居住地生活，这实际上是在请求变更孩子的直接抚养环境。

2. 法院判决的考虑因素：

   • 孩子的意愿：如果孩子已经达到一定的年龄和认知能力，法院会考虑孩子的意愿。孩子是否愿意跟随父亲去居住地生活，是一个重要的参考因素。
   • 孩子的最佳利益：法院会综合考虑孩子的身心健康、教育、生活环境等多方面因素，以确定哪种安排更符合孩子的最佳利益。
   • 父母双方的抚养能力和条件：法院会评估父母双方的抚养能力、经济状况、居住环境等，以确定哪一方更能为孩子提供稳定、良好的生活环境。

3. 可能的情况与判决：

   • 如果法院认为男方具备更好的抚养条件，且变更居住环境对孩子有利：在这种情况下，法院可能会判决支持男方接孩子去其居住地生活，但同时会明确探视的具体安排，以保障另一方的探视权。
   • 如果法院认为变更居住环境可能对孩子造成不利影响：例如，孩子已经适应了当前的生活环境，变更居住环境可能导致其心理、学业等方面出现问题，那么法院可能会判决维持现状，即孩子继续留在原居住地生活，同时明确男方的探视权。

4. 建议：

   • 协商解决：在可能的情况下，双方应首先尝试通过协商来解决争议。协商可以更加灵活地安排探视和居住事宜，以更好地满足孩子的需求。
   • 寻求法律帮助：如果协商无果，双方可以寻求法律帮助，通过法律途径来解决争议。在此过程中，应提供充分的证据来支持自己的主张，如孩子的意愿、双方的抚养能力等。

后续行动建议：

• 如果您或男方对法院的判决有异议，可以在法定期限内提起上诉。
• 在整个过程中，应始终将孩子的最佳利益放在首位，避免将争议升级为对孩子不利的冲突。

如果您有进一步的法律问题或需要更具体的建议，请直接向我咨询，我会根据您的具体情况提供详细的法律解答。