利害关系人的行政许可申请异议书，行政机关原则上需要回复。以下从不同角度对此问题进行分析：

一、法律义务角度

根据《中华人民共和国行政许可法》的相关规定，行政机关在收到利害关系人对行政许可申请的异议书后，有义务进行审查，并在法定期限内作出相应的处理。虽然该法并未直接规定必须书面回复异议书，但从行政机关的职责和利害关系人的权利保障角度来看，行政机关应当给予适当的回应，以确保程序的公正性和透明性。这种回应可以是书面的，也可以是口头的，但考虑到证据留存和程序规范，书面回复更为稳妥和正式。

二、程序公正角度

行政许可程序应当遵循公正、公开、公平的原则。利害关系人提出异议，是对行政许可申请的一种监督和制约，有助于防止行政机关滥用职权或疏忽职守。行政机关对异议书进行回复，是程序公正的重要体现，能够保障利害关系人的知情权、参与权和监督权。如果行政机关对异议书置之不理，将损害程序的公正性和利害关系人的合法权益。

三、实际操作角度

在实际操作中，行政机关收到异议书后，通常会进行审查，并根据审查结果作出相应的处理。如果异议成立，行政机关可能会要求申请人补充材料、修改申请或直接驳回申请；如果异议不成立，行政机关则会继续推进许可程序。无论处理结果如何，行政机关都应当将处理意见及时告知利害关系人，以便其了解申请进展和结果，并有权采取进一步的法律措施。

四、法律后果角度

如果行政机关未对利害关系人的异议书进行回复，可能面临以下法律后果：

1. 程序违法：行政机关的行为可能被视为程序违法，从而影响行政许可的合法性和有效性。
2. 行政复议或诉讼风险：利害关系人可能因此提起行政复议或行政诉讼，要求撤销或变更行政许可决定。
3. 信誉损害：行政机关的不作为可能损害其公信力和形象，降低公众对其的信任度。

建议

1. 利害关系人：在提出异议书时，应明确表达异议的理由和依据，并要求行政机关给予书面回复。如果行政机关未予回复，可以及时向其上级机关或相关部门反映情况，或寻求法律救济途径。
2. 行政机关：在收到异议书后，应认真审查并依法作出处理。无论处理结果如何，都应及时告知利害关系人，并保留好相关证据和记录。同时，行政机关应加强对行政许可程序的监督和管理，确保程序的公正性和透明性。

如有任何进一步的问题或需要更详细的法律建议，请直接向我咨询。