您好，关于您提出的“童工跟着监护人父亲在工厂上班是否违法”的问题，我可以明确地告诉您，这是违法的。

首先，根据《禁止使用童工规定》的第二条，国家机关、社会团体、企业事业单位、民办非企业单位或者个体工商户（以下统称用人单位）均不得招用不满16周岁的未成年人，招用不满16周岁的未成年人即被视为使用童工。这一规定明确禁止了任何形式的童工使用，无论是否有监护人陪同。

其次，该规定的第三条也明确指出，不满16周岁的未成年人的父母或者其他监护人应当保护其身心健康，保障其接受义务教育的权利，不得允许其被用人单位非法招用。这意味着，即使监护人是父亲，也不能允许孩子被工厂等用人单位招用。

再者，如果用人单位违反规定使用了童工，将面临严重的法律后果。根据该规定的第六条，用人单位使用童工的，由劳动保障行政部门按照每使用一名童工每月处5000元罚款的标准给予处罚。如果在使用有毒物品的作业场所使用童工，处罚将更为严厉。同时，劳动保障行政部门还会责令用人单位限期将童工送回原居住地交其父母或者其他监护人，并承担所需交通和食宿费用。

最后，我想强调的是，保护未成年人的身心健康和合法权益是全社会的共同责任。作为监护人，父亲更应该积极履行保护孩子的责任，确保孩子接受义务教育，远离非法用工环境。

希望以上解答能够对您有所帮助。如果您还有其他问题或需要进一步的帮助，请随时告诉我。