结论：孩子父亲以孩子不跟他去为由拒绝支付抚养费，您完全有权通过法律途径起诉他，要求其支付所有拖欠的抚养费。

详细分析：

1. 抚养义务的法定性：

   • 根据法律规定，抚养孩子是父母的法定义务，不直接抚养孩子的一方应通过支付抚养费来履行其抚养责任。这一义务不因孩子是否跟随其生活而免除。因此，孩子父亲以孩子不跟他去为由拒绝支付抚养费，是违反法律规定的。

2. 起诉前的准备：

   • 在起诉之前，建议您首先尝试与孩子父亲进行友好协商，看是否能够就抚养费的支付达成和解或协议。这有助于节省时间和成本，并可能对孩子双方的关系产生积极影响。
   • 若协商无果，您应准备好相关证据，以便在需要时通过法律途径维护权益。这些证据包括但不限于：证明亲子关系的证据（如孩子的出生证明）、孩子生活费用支出的凭证（如学费缴费单、就医票据等）、以及如果有关于抚养费的协议或判决，也应准备好相应文本。

3. 提起诉讼：

   • 您可向有管辖权的法院提交起诉状和证据材料，要求孩子父亲支付拖欠的抚养费。起诉状应包含原被告的基本信息、明确的诉讼请求（即要求对方支付抚养费的具体金额和支付方式）、以及事实和理由部分（详细说明对方未支付抚养费的情况，以及您的法律依据和事实依据）。

4. 法院审理与判决：

   • 法院受理案件后，将依法进行审理。法院会根据您提供的证据和对方的答辩情况，作出公正的判决，要求孩子父亲按照判决支付抚养费。如果判决中明确了抚养费的支付方式和期限，孩子父亲必须履行，否则将面临法律后果。

5. 强制执行：

   • 若判决生效后，孩子父亲仍不履行支付义务，您可以向法院申请强制执行。法院将采取一系列强制措施，如冻结银行账户、查封财产等，以确保抚养费的支付。

法律建议：

• 在整个过程中，建议您保持冷静和理性，通过法律途径来维护自己和孩子的合法权益。
• 如果您对法律程序不熟悉或感到困惑，可以随时向我咨询，我将根据您的具体情况提供个性化的法律解决方案。

可能法律后果：

• 如果孩子父亲被判决支付抚养费但仍不履行，除了面临强制执行外，还可能因拒不执行法院判决而被处以罚款、拘留等处罚。
• 长期拒不支付抚养费还可能影响孩子父亲的信用记录和社会评价。

综上所述，面对孩子父亲拒绝支付抚养费的情况，您完全有权通过法律途径来维护自己和孩子的合法权益。通过准备充分的证据、提起诉讼并申请强制执行，您可以确保孩子获得应有的抚养支持。