政府部门可以辞退无固定合同工，但必须满足法定条件并遵循法定程序。以下是对此问题的详细分析：

一、法定条件

根据《中华人民共和国劳动合同法》的相关规定，政府部门（作为用人单位）在以下情形下可以辞退无固定期限劳动合同的员工：

1. 协商一致解除：用人单位与劳动者协商一致，可以解除劳动合同。这意味着，如果政府部门与无固定合同工就解除劳动合同达成一致意见，那么可以依法解除。

2. 过错性辞退：劳动者存在以下情形之一的，用人单位可以解除劳动合同：

   • 在试用期间被证明不符合录用条件的；
   • 严重违反用人单位的规章制度的；
   • 严重失职，营私舞弊，给用人单位造成重大损害的；
   • 劳动者同时与其他用人单位建立劳动关系，对完成本单位的工作任务造成严重影响，或者经用人单位提出，拒不改正的；
   • 因《劳动合同法》第二十六条第一款第一项规定的情形致使劳动合同无效的（即以欺诈、胁迫的手段或者乘人之危，使对方在违背真实意思的情况下订立或者变更劳动合同的）；
   • 被依法追究刑事责任的。

3. 非过错性辞退：在以下情形下，用人单位提前三十日以书面形式通知劳动者本人或者额外支付劳动者一个月工资后，可以解除劳动合同：

   • 劳动者患病或者非因工负伤，在规定的医疗期满后不能从事原工作，也不能从事由用人单位另行安排的工作的；
   • 劳动者不能胜任工作，经过培训或者调整工作岗位，仍不能胜任工作的；
   • 劳动合同订立时所依据的客观情况发生重大变化，致使劳动合同无法履行，经用人单位与劳动者协商，未能就变更劳动合同内容达成协议的。

4. 经济性裁员：在符合法定条件（如依照企业破产法规定进行重整的、生产经营发生严重困难的等）并履行法定程序（如提前三十日向工会或者全体职工说明情况、听取工会或者职工的意见、将裁减人员方案向劳动行政部门报告等）后，用人单位可以裁减人员，包括无固定期限劳动合同的员工。

二、法定程序

政府部门在辞退无固定合同工时，必须遵循以下法定程序：

1. 通知工会：在辞退员工前，用人单位应当事先将理由通知工会。工会认为用人单位辞退行为违反法律、法规或者劳动合同约定的，有权要求用人单位重新研究处理。
2. 出具解除证明：用人单位应当在解除劳动合同时出具解除劳动合同的证明，并在十五日内为劳动者办理档案和社会保险关系转移手续。
3. 支付经济补偿：在符合法定情形（如非过错性辞退、经济性裁员等）下，用人单位应当向劳动者支付经济补偿。经济补偿的标准按照劳动者在本单位工作的年限，每满一年支付一个月工资的标准向劳动者支付。六个月以上不满一年的，按一年计算；不满六个月的，向劳动者支付半个月工资的经济补偿。

三、特别注意事项

1. 无固定期限劳动合同的特殊性：无固定期限劳动合同并不意味着劳动者享有“铁饭碗”。只要符合法定条件并遵循法定程序，政府部门仍然可以辞退无固定合同工。
2. 证据收集与保存：政府部门在辞退员工时，应当注意收集并保存相关证据（如员工违纪记录、培训记录、考核记录等），以证明辞退行为的合法性和合理性。
3. 避免违法辞退：政府部门应当避免违法辞退员工，如未提前通知、未支付经济补偿等。否则，员工有权要求用人单位继续履行劳动合同或者支付赔偿金。

建议：政府部门在辞退无固定合同工时，应当严格遵守法律法规的规定，确保辞退行为的合法性和合理性。如有任何疑问或需要进一步的法律帮助，请直接向我咨询。