行政机关拒绝履行法定职责，公民、法人或其他组织是可以直接向人民法院提起行政诉讼的。以下是对此问题的详细分析：
一、法律依据与原则
根据《中华人民共和国行政诉讼法》的相关规定，公民、法人或其他组织认为行政机关和行政机关工作人员的行政行为侵犯其合法权益，有权依照本法向人民法院提起诉讼。这包括行政机关拒绝履行或不予答复其法定职责的情况。行政机关不履行法定职责，是违法失职行为，对于这种行为，不但要追究其行政责任，后果严重的，还要依照刑法规定，追究其主要责任人员渎职的刑事责任。
二、起诉条件与流程
确认法定职责：
- 必须明确行政机关具有法律、法规或规章规定的具体职责。例如，公安机关负责维护社会治安，市场监督管理部门监管市场经营活动等。
提出申请（部分情况除外）：
- 通常，你需要先向行政机关提出履行职责的申请，并给予合理处理期限。但在紧急情况下，如涉及生命、健康等重大权益，可直接起诉而无需先行申请。
准备起诉材料：
- 起诉状：包括原告基本信息、被告行政机关信息、诉讼请求、事实和理由。务必详细阐述行政机关应履行职责的依据、申请情况及未履行职责的事实。
- 证据材料：如法律法规文本，证明行政机关的法定职责；申请书复印件、邮寄凭证等，证明已向行政机关提出申请；与行政机关的沟通记录、相关决定等，证明其未履行职责；以及其他支持诉讼请求的证据，如损失证明材料。
确定管辖法院：
- 根据《行政诉讼法》，一般由最初作出行政行为的行政机关所在地人民法院管辖。经复议的案件可由复议机关所在地法院管辖。对国务院部门或县级以上地方政府所作的行政行为提起诉讼，以及海关处理的案件，由中级人民法院管辖。
立案与审理：
- 将起诉材料提交至有管辖权的法院立案窗口。法院会进行初步审查，符合立案条件则受理并通知缴纳诉讼费；否则，会告知补充或修改材料。
- 法院受理案件后，会将起诉状副本送达被告行政机关，要求其提交答辩状及相关证据。随后进行开庭审理，双方当事人在法庭上陈述、举证、质证和辩论。法院根据查明的事实和法律规定作出判决。
三、特殊情况与注意事项
不予答复的确定：
- 如果法律、法规或者规章规定了答复期限的，超过了这个期限不予答复，就算是不予答复。但在紧急情况下，如人民警察遇到公民人身、财产安全受到侵犯或者处于其他危难情形，应当立即救助，此时不可能规定答复期限。
时效问题：
- 需在知道或应当知道行政机关未履行法定职责之日起六个月内提起诉讼，逾期法院可能不予受理。
法律依据的充分性：
- 起诉前务必充分了解相关法律法规，确保诉讼请求有充分法律依据。
四、法律后果与建议
- 若法院认定行政机关未履行法定职责，会判决其在一定期限内履行或采取其他补救措施。对于行政机关的违法失职行为，除了行政责任外，后果严重的还要追究刑事责任。
- 在整个诉讼过程中，建议保持与我这样的专业律师的沟通，以确保诉讼的顺利进行和成功。不过，既然您现在向我咨询，我会全程为您提供专业的法律支持和建议。
综上所述，行政机关拒绝履行法定职责时，公民、法人或其他组织是可以直接向人民法院提起行政诉讼的。在起诉过程中，需遵循正确的法律流程和要点，以确保自身权益得到有效维护。