结论：母亲一般不能直接通过起诉要求将已成年的20岁儿子要回到身边，因为成年子女具有完全民事行为能力，其居住和生活安排通常由自己决定。但母亲可以就父亲未尽抚养义务等事宜，通过法律途径维护儿子及自身的合法权益。
分析如下：
一、成年子女的法律地位
根据我国法律规定，18周岁以上的公民是成年人，具有完全民事行为能力，可以独立进行民事活动。因此，20岁的儿子已经属于成年人，其居住和生活安排原则上应由自己决定，父母无权强制干涉。这意味着，母亲不能直接通过起诉要求将儿子要回到身边，因为这涉及到了成年子女的自主决策权。
二、父亲未尽抚养义务的处理
虽然母亲不能直接起诉要求将儿子要回到身边，但如果父亲在儿子未成年期间未尽抚养义务，母亲或儿子本人（如果已成年且具备诉讼能力）可以就相关事宜提起诉讼。具体来说：
抚养费追索：如果父亲在儿子未成年期间未支付抚养费，母亲或儿子可以起诉要求父亲支付拖欠的抚养费。这需要根据实际拖欠的抚养费数额、拖欠时间等因素来确定具体的诉讼请求。
其他权益维护：除了抚养费外，如果父亲的行为对儿子造成了其他损害（如精神损害、财产损失等），母亲或儿子也可以根据实际情况提起相应的诉讼，要求父亲承担赔偿责任。
三、母亲可以采取的其他措施
沟通协商：母亲可以尝试与父亲进行沟通协商，了解父亲不管不问儿子的原因，并尝试达成共识，共同关注儿子的成长和生活。
寻求社会支持：如果母亲认为父亲的行为对儿子造成了不良影响，可以寻求社区、学校、妇联等社会组织的支持和帮助，共同为儿子创造一个良好的成长环境。
法律援助：如果母亲在处理相关事宜时遇到法律困难或疑问，可以寻求专业律师的法律援助和咨询，以确保自己的合法权益得到维护。
建议：母亲在处理此类问题时，应保持冷静和理性，通过合法途径维护自己和儿子的权益。如果需要进一步的法律帮助或咨询，可以直接向我提问，我会根据具体情况提供详细的法律建议和指导。