结论：

1. 息诉罢访协议一般被视为民事协议。
2. 若违反息诉罢访协议，政府通常不能直接通过起诉要求退回已支付的款项，但可能通过其他法律途径寻求救济。

详细分析：

1. 息诉罢访协议的性质：

   • 息诉罢访协议通常是政府与信访人之间就信访事项达成的一种和解协议，旨在通过协商解决争议，避免进一步的法律诉讼或行政程序。从法律性质上看，这种协议主要涉及双方之间的民事权利义务关系，如政府承诺给予一定的补偿或救助，信访人则承诺停止信访活动。
   • 因此，息诉罢访协议一般被视为民事协议，受《民法典》等民事法律规范的调整。

2. 违反息诉罢访协议的法律后果：

   • 若信访人违反息诉罢访协议，继续信访或采取其他不当行为，政府通常不能直接通过民事诉讼要求退回已支付的款项。因为这种协议往往不涉及具体的金钱给付义务作为违约责任，而是更多地依赖于双方的诚信和道德约束。
   • 然而，政府可以通过其他法律途径寻求救济。例如，如果信访人的行为构成违约且给政府造成了实际损失，政府可以依据《民法典》中关于违约责任的规定，要求信访人承担赔偿责任。但这种情况下，政府需要证明其实际损失的存在以及该损失与信访人违约行为之间的因果关系。
   • 另外，如果信访人的行为违反了相关法律法规或行政规定，政府还可以依法对其进行行政处罚或采取其他行政措施。

3. 特殊情况下的处理：

   • 在某些特殊情况下，息诉罢访协议可能包含特定的违约责任条款，如约定若信访人违反协议则需退回已支付的款项。在这种情况下，如果信访人确实违反了协议且该条款不违反法律、行政法规的强制性规定，政府可以依据该条款要求信访人退回款项。
   • 但需要注意的是，即使协议中有这样的条款，政府在行使权利时也需要遵循法定程序和原则，如不得滥用权利、不得违反公平原则等。

建议：

• 对于政府而言，在签订息诉罢访协议时，应明确约定双方的权利义务以及违约责任条款，以便在信访人违反协议时能够依法维护自己的权益。
• 对于信访人而言，应认真履行协议中的义务，避免不必要的法律纠纷和损失。如果确实存在无法履行协议的情况，应及时与政府沟通协商，寻求合理的解决方案。

如有任何进一步的问题或需要更详细的法律建议，请直接向我咨询。