结论：环境噪声问题若持续不整改，行政机关并非可以无限制地一直罚款，而是会依据相关法律法规采取一系列措施，罚款只是其中之一，且罚款的数额和次数会受到法律的限制。
分析：
行政处罚的种类与限制：
- 根据《中华人民共和国行政处罚法》等相关法律法规，行政机关对违法行为人可以采取的行政处罚种类包括警告、罚款、没收违法所得、责令停产停业、暂扣或吊销许可证、行政拘留等。
- 罚款作为行政处罚的一种，其数额和次数并非无限制。行政机关在作出罚款决定时，必须遵循法定程序，并确保罚款数额与违法行为的性质、情节以及社会危害程度相适应。
环境噪声污染的处罚措施：
- 对于环境噪声污染问题，行政机关首先会责令违法行为人限期整改，以消除或减轻噪声污染。
- 若违法行为人逾期未整改或整改不到位，行政机关可以依法处以罚款。但罚款并非唯一措施，行政机关还可以根据具体情况采取其他行政处罚措施，如责令停产停业、暂扣或吊销相关许可证等。
- 重要的是，行政机关在采取处罚措施时，必须遵循“一事不再罚”原则，即对同一违法行为不得给予两次以上罚款的行政处罚（但其他种类的行政处罚可以并行或单独适用）。
持续不整改的法律后果：
- 如果环境噪声污染问题持续存在且违法行为人拒不整改，行政机关除了继续采取行政处罚措施外，还可以将案件移送司法机关追究刑事责任（如果构成犯罪的话）。
- 此外，违法行为人还可能面临民事赔偿责任，即因噪声污染给周边居民造成损失的，需要依法承担赔偿责任。
建议：
- 对于环境噪声污染问题，违法行为人应积极配合行政机关的整改要求，及时消除或减轻噪声污染，以避免不必要的法律后果。
- 如果对行政机关的处罚决定有异议，可以依法申请行政复议或提起行政诉讼，以维护自己的合法权益。
- 周边居民在遭受环境噪声污染时，也可以向行政机关投诉或举报，要求行政机关依法处理违法行为人。
如有任何关于环境噪声污染或其他法律问题的疑问，可以直接向我咨询。