行政机关在特定情况下有义务责令违法行为人赔偿，但并非在所有情况下都负有此义务。以下从不同角度对此问题进行分析：
一、行政机关责令赔偿的法律依据
行政处罚与行政命令的区分：
- 行政处罚是行政机关对违法行为人作出的制裁性决定，如罚款、拘留等。
- 行政命令则可能包括责令改正、责令赔偿等，旨在恢复被违法行为破坏的社会关系或弥补受害者的损失。
特定法律条款的规定：
- 在某些特定法律中，如《环境保护法》、《消费者权益保护法》等，明确规定了行政机关在发现违法行为时，有权或应当责令违法行为人赔偿受害者损失。例如，《环境保护法》第六十八条规定，地方各级人民政府、县级以上人民政府环境保护主管部门和其他负有环境保护监督管理职责的部门，对造成环境严重污染的，有权责令赔偿损失。
二、行政机关责令赔偿的适用情形
违法行为直接导致损害：
- 当违法行为直接导致他人财产或人身损害时，行政机关在查明事实后，有权责令违法行为人赔偿受害者。
法律明确规定：
- 如前所述，某些法律明确规定了行政机关在特定情况下的责令赔偿义务。在这些情况下，行政机关必须依法行使职权，责令违法行为人进行赔偿。
受害者申请或举报：
- 在某些情况下，受害者可能向行政机关申请或举报违法行为，并要求赔偿。行政机关在受理申请或举报后，应依法进行调查处理，并视情况责令违法行为人赔偿。
三、行政机关不责令赔偿的可能情形
法律未明确规定：
- 如果法律没有明确规定行政机关在特定情况下的责令赔偿义务，那么行政机关可能没有直接的法律依据来责令赔偿。
损害与违法行为无直接因果关系：
- 如果损害与违法行为之间不存在直接的因果关系，或者损害是由多种因素共同造成的，行政机关可能难以直接责令违法行为人赔偿。
受害者未提出申请或举报：
- 在某些情况下，受害者可能未向行政机关提出赔偿申请或举报，或者受害者选择通过其他途径（如民事诉讼）来寻求赔偿。在这种情况下，行政机关可能不会主动责令赔偿。
四、行政机关责令赔偿的程序与救济
调查程序：
- 行政机关在责令赔偿前，应依法进行调查，查明事实真相，确保责令赔偿的决定有充分的事实依据。
听证程序：
- 在某些情况下，行政机关在作出责令赔偿决定前，应给予违法行为人听证的机会，以保障其合法权益。
救济途径：
- 如果违法行为人对行政机关的责令赔偿决定不服，可以依法申请行政复议或提起行政诉讼，以维护自己的合法权益。
建议：在实际操作中，如果受害者认为自己的权益受到侵害，并希望行政机关责令违法行为人赔偿，可以向相关行政机关提出申请或举报，并提供充分的证据支持自己的主张。同时，违法行为人如果认为行政机关的责令赔偿决定不当，也应积极寻求法律救济途径来维护自己的权益。如有具体法律问题，可直接向我咨询。