结论：男方在特定条件下可以起诉要回抚养权，但能否成功取决于是否能证明女方存在不利于孩子成长的情形或自身具备更有利于孩子成长的条件。

分析：

1. 抚养权变更的法律依据： 根据《最高人民法院关于适用〈民法典〉婚姻家庭编的解释（一）》第五十六条，父母一方要求变更子女抚养关系的，人民法院应予支持的情形包括：

   • 与子女共同生活的一方因患严重疾病或者因伤残无力继续抚养子女；
   • 与子女共同生活的一方不尽抚养义务或有虐待子女行为，或者其与子女共同生活对子女身心健康确有不利影响；
   • 已满八周岁的子女，愿随另一方生活，该方又有抚养能力；
   • 有其他正当理由需要变更。

2. 男方起诉要回抚养权的条件：

   • 女方存在不利于孩子成长的情形：如果女方在外地工作，将孩子放在老家由父母照顾，而女方的父母因年龄、健康或其他原因无法提供适当的照顾，或者女方长期不与孩子共同生活，不尽抚养义务，这些情况都可能构成不利于孩子成长的情形。男方可以收集相关证据，如女方的工作情况、孩子的实际生活状况、女方父母的照顾能力等，来证明女方存在不利于孩子成长的情形。
   • 男方具备更有利于孩子成长的条件：男方需要证明自己具备更稳定的生活环境、更好的经济条件、更充足的时间陪伴孩子等，这些都有利于孩子的成长。男方可以提供自己的收入证明、居住条件、工作稳定性、与孩子的关系等证据来支持自己的主张。

3. 实际操作中的考虑因素：

   • 孩子的年龄和意愿：如果孩子已满八周岁，法院会考虑孩子的意愿。如果孩子愿意与男方共同生活，且男方具备抚养能力，这将是男方争取抚养权的有利因素。
   • 双方的经济能力和生活环境：法院会综合考虑双方的经济能力、生活环境、教育背景等因素，以判断哪一方更有利于孩子的成长。
   • 孩子的实际生活状况：法院会关注孩子当前的生活状况，包括与谁共同生活、生活是否稳定、是否受到良好的照顾等。

建议：

• 如果男方认为女方存在不利于孩子成长的情形，或者自己具备更有利于孩子成长的条件，可以收集相关证据，向法院提起诉讼，要求变更抚养权。
• 在诉讼过程中，男方应注重证据的收集和整理，以充分证明自己的主张。同时，也应尊重孩子的意愿和感受，尽量减少诉讼对孩子的影响。
• 如果男方对抚养权变更的法律程序或证据收集有疑问，可以直接向我咨询，我将根据具体情况提供专业的法律建议。