结论：在全责方一直拖着不付剩余款项的情况下，您可以在合同约定的付款期限届满后，或者在没有约定付款期限时，在给予对方合理期限后仍未付款的情况下，随时向法院起诉对方。但具体起诉时间还需结合合同条款及实际情况综合判断。

分析说明：

1. 合同有明确付款期限的情况：

   • 如果合同中明确规定了剩余款项的付款期限，那么全责方应当在约定的期限内履行付款义务。一旦期限届满而全责方仍未付款，您即有权向法院提起诉讼，要求对方支付剩余款项及可能的违约金或利息。

2. 合同未明确付款期限的情况：

   • 如果合同中没有明确规定剩余款项的付款期限，根据《中华人民共和国民法典》的相关规定，您可以在给予全责方合理期限后，若对方仍未付款，则有权向法院提起诉讼。这里的“合理期限”通常需要根据交易习惯、合同性质以及双方当事人的具体情况等因素来综合判断。

3. 关于起诉前的准备：

   • 在决定起诉前，建议您先与全责方进行沟通协商，尝试通过友好方式解决纠纷。如果协商无果，您可以收集相关证据，如合同、付款记录、沟通记录等，以证明全责方确实存在拖欠款项的行为。
   • 同时，您也可以考虑向全责方发送律师函或催告函，明确告知其违约后果及您将采取的法律措施，这有时能起到促使对方履行付款义务的作用。

4. 关于诉讼时效：

   • 需要注意的是，根据《中华人民共和国民法典》的规定，向人民法院请求保护民事权利的诉讼时效期间为三年。因此，您应当在知道或应当知道权利受到损害以及义务人之日起三年内提起诉讼，否则可能会丧失胜诉权。但如果您在诉讼时效期间内曾向全责方主张过权利（如发送律师函、催告函等），则诉讼时效可能会中断并重新计算。

行动建议：

• 审查合同条款：首先仔细审查合同中关于付款期限、违约责任等条款的约定，以确定全责方的具体违约行为及您应享有的权利。
• 收集证据：收集与全责方拖欠款项相关的所有证据，包括合同、付款记录、沟通记录等，以证明您的主张。
• 协商与催告：在起诉前尝试与全责方进行协商，并发送律师函或催告函明确告知其违约后果及您将采取的法律措施。
• 提起诉讼：如果协商无果且对方仍未履行付款义务，则及时向法院提起诉讼以维护您的合法权益。

如有任何疑问或需要进一步的法律帮助，请随时向我咨询。