行政部门不履行法定职责，公民、法人或其他组织是可以到法院起诉的。以下从不同角度对此问题进行详细分析：

一、法律依据

根据《中华人民共和国行政诉讼法》的相关规定，公民、法人或者其他组织认为行政机关和行政机关工作人员的行政行为侵犯其合法权益，有权依照本法向人民法院提起诉讼。这其中包括行政机关不履行法定职责的情形。当行政机关拒绝履行或者不予理睬公民、法人或其他组织的合法申请时，就构成了不履行法定职责的违法行为，公民、法人或其他组织有权向人民法院提起行政诉讼，要求法院判令行政机关履行职责。

二、起诉条件

1. 存在明确的法定职责：起诉的前提是行政机关确实负有某项法定职责，且该职责与起诉人的合法权益直接相关。
2. 行政机关未履行职责：行政机关在收到起诉人的申请后，拒绝履行或者未在法定期限内履行职责。
3. 起诉人合法权益受损：由于行政机关未履行职责，起诉人的合法权益受到了实际损害。

三、起诉流程

1. 撰写行政起诉状：起诉状应明确被告行政机关的信息、诉讼请求、事实和理由，并附上相关证据材料。
2. 向有管辖权的人民法院提起诉讼：根据行政诉讼法的规定，选择有管辖权的人民法院提起诉讼。
3. 参与诉讼过程：在诉讼过程中，起诉人需要积极参与，提供证据，进行辩论，以维护自己的合法权益。

四、可能面临的法律后果

1. 法院判令行政机关履行职责：如果法院认定行政机关确实未履行法定职责，且起诉人的诉讼请求合理，法院将判令行政机关履行职责。
2. 行政机关承担赔偿责任：如果行政机关的不履行职责行为给起诉人造成了实际损失，行政机关还可能需要承担赔偿责任。

五、实际案例与启示

在实际生活中，行政部门不履行法定职责的情况时有发生。例如，环保部门未在规定期限内答复公开环境影响评价报告的申请，或者规划部门无正当理由拒绝办理建设工程规划许可证等。在这些情况下，公民、法人或其他组织都可以依法向人民法院提起行政诉讼，要求法院判令行政机关履行职责。这些案例启示我们，当遇到行政部门不履行法定职责时，不要忍气吞声，而应该积极运用法律武器维护自己的合法权益。

六、建议与注意事项

1. 及时收集证据：在起诉前，起诉人应尽可能收集相关证据，以证明行政机关确实存在不履行职责的行为。这些证据可能包括书面文件、电子邮件、录音录像、证人证言等。
2. 咨询专业律师：虽然我在此提供了全面的法律分析，但每个具体案件都有其独特性。因此，在起诉前，起诉人最好咨询专业律师，以获取更具体的法律建议。不过，既然您已经向我咨询，我会尽力为您提供专业的法律帮助。
3. 保持冷静与理性：在诉讼过程中，起诉人应保持冷静与理性，避免情绪化行为影响诉讼结果。

综上所述，行政部门不履行法定职责时，公民、法人或其他组织是可以到法院起诉的。如果您遇到了类似的情况，不要犹豫，及时运用法律武器维护自己的合法权益。如有任何疑问或需要进一步的法律帮助，请随时向我咨询。