结论：政府调解的钱在特定条件下，确实有可能通过法院起诉要回去，但具体能否成功，需视调解协议的性质、内容以及是否存在法定撤销或无效情形而定。

分析说明：

1. 调解协议的性质：

   • 政府调解，通常指的是在政府或政府相关部门的主持下，双方当事人自愿达成的和解协议。这种协议在法律上具有一定的约束力，但并非绝对不可撤销或变更。
   • 如果调解协议已经双方签字确认，并且不违反法律、行政法规的强制性规定，不违背公序良俗，那么该协议通常具有法律效力，双方应当履行。

2. 可撤销或无效的情形：

   • 欺诈、胁迫：如果一方在调解过程中存在欺诈、胁迫等行为，导致另一方在违背真实意愿的情况下签订了调解协议，那么受欺诈或胁迫的一方有权请求法院撤销该协议。
   • 重大误解：如果双方对调解协议的内容存在重大误解，导致协议显失公平，那么受误解的一方也有权请求法院撤销或变更该协议。
   • 违反法律、行政法规的强制性规定：如果调解协议的内容违反了法律、行政法规的强制性规定，或者违背了公序良俗，那么该协议自始无效，双方无需履行，且可以通过法院起诉来确认其无效。

3. 起诉的流程与注意事项：

   • 起诉条件：要起诉要求撤销或变更调解协议，需要满足上述可撤销或无效的情形之一，并且需要提供相应的证据来证明。
   • 起诉流程：通常包括撰写起诉状、提交证据材料、缴纳诉讼费用、参加庭审等步骤。在起诉前，建议咨询专业律师，以了解具体的起诉流程和注意事项。
   • 诉讼风险：起诉要求撤销或变更调解协议存在一定的诉讼风险，包括但不限于证据不足、法院不予支持等。因此，在决定起诉前，需要充分评估诉讼风险，并做好相应的准备。

行动建议：

• 如果您认为政府调解协议存在可撤销或无效的情形，并且想要通过法院起诉来要回钱，那么建议您首先收集相关证据，包括调解协议、沟通记录、证人证言等。
• 接着，咨询专业律师，了解具体的起诉流程和注意事项，以及可能面临的诉讼风险。
• 最后，根据律师的建议，决定是否起诉以及如何起诉。

法律背景：

• 根据《中华人民共和国民法典》的相关规定，民事法律行为可以因欺诈、胁迫、重大误解等情形而被撤销或变更。同时，违反法律、行政法规的强制性规定或违背公序良俗的民事法律行为无效。
• 在政府调解过程中，双方当事人应当遵循自愿、公平、诚实信用的原则，签订合法有效的调解协议。如果协议存在违法或违背公序良俗的情形，那么该协议将不受法律保护。

如有更多疑问或需要进一步的法律帮助，请直接向我咨询。