针对您提出的“孩子的监护权一直跟着母亲，父亲无赖想要孩子能要回去吗”这一问题，我们可以从法律的角度进行详细分析。

首先，需要明确的是，父母双方对未成年子女均享有平等的监护权，这是由《中华人民共和国民法典》所明确规定的。监护权不仅包含了抚养、教育的权利，也包含了保护未成年子女的义务。在婚姻关系存续期间，即使双方分居，这一原则依然适用。

接下来，我们分析具体情境。如果父亲在未经母亲同意的情况下，擅自将孩子带走，并拒绝送回，这种行为不仅可能构成对母亲因履行监护职责所产生的权利的侵害，更重要的是，它可能不利于未成年子女的身心健康。特别是当孩子处于低幼龄阶段，如尚在哺乳期或未满三周岁时，母亲通常能提供更为细致和必要的照顾。

在法律实践中，对于此类监护权纠纷，法院会综合考虑多种因素，以确定最有利于被监护人的抚养安排。这包括但不限于孩子的年龄、健康状况、成长环境、父母双方的抚养能力和条件等。特别是在双方分居且矛盾较易激化的情况下，法院更倾向于保护未成年子女的利益，避免其受到不必要的伤害。

以您提到的情境为例，如果父亲想要争回孩子的监护权，他需要通过法律途径提起诉讼，并证明自己能够提供比母亲更为有利的抚养环境和条件。然而，在大多数情况下，特别是当孩子处于低幼龄阶段时，法院可能会倾向于维持现有的抚养安排，即由母亲继续直接抚养孩子，并要求父亲支付相应的抚养费，同时享有探望权。

因此，如果父亲无赖地想要强行要回孩子，而不考虑孩子的最佳利益和法律的规定，这种行为是不被法律所支持的。父亲应该通过合法途径，如与母亲协商或提起诉讼，来寻求合理的解决方案。在诉讼过程中，法院会依法进行裁决，确保孩子的权益得到最大程度的保护。

总之，监护权的行使应始终以孩子的最佳利益为出发点和落脚点。父母双方应该通过协商或法律途径来妥善解决监护权纠纷，避免给孩子带来不必要的伤害和影响。