当行政机关不履行其法定职责时，公民确实有权依法提起行政诉讼，要求行政机关履行职责并承担相应的法律责任。以下是对这一问题的详细解答：
一、确认行政机关的法定职责
首先，需要明确行政机关具有法律、法规或规章规定的具体职责。这是提起行政诉讼的基础。例如，如果涉及土地管理问题，那么市自然资源和规划局就负有相应的调查处理职责；如果涉及城市生活垃圾处理问题，城市管理局则负有收集、运输和处置的法定职责。
二、判断行政机关是否未履行法定职责
行政机关在收到公民的申请后，应在法定期限内履行相应职责，并给予书面答复。如果行政机关未在规定期限内履行职责，或者未给予任何答复，那么就可以认为行政机关未履行法定职责。
三、准备起诉材料
如果决定提起行政诉讼，需要准备以下材料：
起诉状：详细阐述原告的基本信息、被告行政机关的信息、诉讼请求、事实和理由。特别是要详细说明行政机关应履行职责的依据、申请情况及未履行职责的事实。
证据材料：
四、确定管辖法院并提起诉讼
根据《行政诉讼法》的规定，一般由最初作出行政行为的行政机关所在地人民法院管辖。因此，需要确定有管辖权的法院，并将起诉材料提交至该法院的立案窗口。法院会进行初步审查，如果符合立案条件，则会受理案件并通知缴纳诉讼费。
五、法院审理与判决
送达与答辩：法院受理案件后，会将起诉状副本送达被告行政机关，要求其提交答辩状及相关证据。
开庭审理：双方当事人在法庭上陈述、举证、质证和辩论。原告需要清晰阐述自己的观点，并有效反驳被告的答辩。
判决：法院会根据查明的事实和法律规定作出判决。如果认定行政机关未履行法定职责，法院会判决行政机关在一定期限内履行职责或采取其他补救措施。例如，在李先生诉某市自然资源和规划局不履行查处职责案中，法院就判决责令市自然资源和规划局在一定期限内对李先生的申请事项进行调查处理，并将处理结果书面告知李先生。
六、注意事项
时效问题：需要在知道或应当知道行政机关未履行法定职责之日起六个月内提起诉讼，逾期法院可能不予受理。
法律依据：在起诉前务必充分了解相关法律法规，确保诉讼请求有充分的法律依据。
专业咨询：由于行政诉讼涉及复杂的法律问题和程序，建议寻求专业律师的帮助，以确保权益得到充分保护。
综上所述，当行政机关不履行其法定职责时，公民可以通过提起行政诉讼来维护自己的合法权益。在整个过程中，需要准备充分的起诉材料、确定有管辖权的法院、积极参与法院审理，并注意时效问题和法律依据的充分性。