您确实有权要求行政部门履职处罚其他人的违法行为，但这一权利的行使需要满足一定的条件和程序。以下是从不同角度对这一问题的详细分析：

一、法律依据与权利来源

1. 行政法原则：根据行政法的基本原则，行政机关有职责对违法行为进行查处和处罚，以维护公共利益和社会秩序。公民、法人或其他组织有权要求行政机关履行这一职责。
2. 具体法律规定：在具体的法律法规中，如《中华人民共和国行政处罚法》等，也明确了行政机关对违法行为的查处和处罚职责，以及公民、法人或其他组织在发现违法行为时有权向行政机关举报或投诉。

二、行使权利的条件与程序

1. 违法行为的存在：您要求行政部门履职处罚的前提是存在违法行为。这要求您有充分的证据或理由相信某人或某组织存在违法行为。
2. 向正确的行政部门举报：不同的违法行为可能由不同的行政部门负责查处。因此，您需要确定正确的行政部门，并向其举报违法行为。
3. 提供必要的证据或线索：为了支持您的举报，您需要提供必要的证据或线索，以便行政部门能够展开调查并作出处理。
4. 遵循法定程序：在举报过程中，您需要遵循法定程序，如填写举报表格、提供身份证明等。同时，您也有权了解举报的处理进展和结果。

三、可能遇到的挑战与应对

1. 行政部门不作为：如果您发现行政部门在接到举报后未履行职责，您可以向上级行政部门或相关监督机构投诉，要求其督促下级行政部门履行职责。
2. 证据不足或难以获取：在某些情况下，您可能难以获取足够的证据来支持您的举报。这时，您可以考虑寻求法律援助或咨询专业律师，以获取更有效的证据收集方法。
3. 举报后的安全保护：如果您担心举报后可能遭受报复或威胁，您可以向行政部门申请保护措施，如匿名举报、保护个人隐私等。

四、法律后果与责任

1. 对违法者的处罚：如果行政部门确认存在违法行为，并依法对违法者进行了处罚，那么您的举报就起到了应有的作用。
2. 对举报者的保护：法律也规定了对举报者的保护措施，以防止其因举报而遭受不公正待遇或报复。
3. 对行政部门不作为的追责：如果行政部门在接到举报后未履行职责，且情节严重构成违法或犯罪的，相关责任人员可能会受到法律追究。

总结与建议：您有权要求行政部门履职处罚其他人的违法行为，但需要满足一定的条件和程序。在行使这一权利时，建议您充分了解相关法律法规和程序要求，提供必要的证据或线索，并遵循法定程序进行举报。如果遇到挑战或困难，您可以寻求法律援助或咨询专业律师以获取帮助。如果您有任何具体的法律问题或需要进一步的法律建议，请直接向我咨询。