可以申请行政复议。以下从多个角度为你详细分析：
- 行政复议的申请条件
根据《中华人民共和国行政复议法》的相关规定，公民、法人或者其他组织认为具体行政行为侵犯其合法权益的，可以自知道该具体行政行为之日起六十日内提出行政复议申请。在你的情况中，行政单位口头回复不发抚恤金，这一行为实际上构成了一个具体行政行为（尽管是口头的），且你对此有异议，认为侵犯了你的合法权益（即应得的抚恤金），因此你有权申请行政复议。
- 录音作为证据的效力
你提到的有录音作为证据，这是非常重要的。在行政复议过程中，证据是支持你主张的关键。录音作为直接证据，能够证明行政单位确实做出了不发抚恤金的口头决定。当然，在提交录音作为证据时，需要确保录音的合法性、真实性和完整性，以便复议机关能够准确认定事实。
- 申请行政复议的流程
- 准备材料：你需要准备行政复议申请书、身份证明、相关证据材料（包括录音）等。
- 提交申请：将准备好的材料提交给作出具体行政行为的行政单位的上一级主管部门或者本级人民政府。
- 等待受理：复议机关在收到申请后，会进行审查，并在一定期限内决定是否受理。
- 参与复议：如果复议机关决定受理，会通知你参与复议程序，包括提交书面意见、参加听证会等。
- 等待结果：复议机关会在一定期限内作出复议决定，并通知你。
- 其他建议
- 书面确认：尽管你有录音作为证据，但最好还是尝试要求行政单位出具书面的不予发放抚恤金的决定，这样更有利于你在行政复议中主张自己的权益。
- 咨询专业人士：在申请行政复议前，你可以进一步向我咨询，了解具体的复议流程和注意事项，以便更好地准备复议材料。