结论：若您与违建无直接利害关系，确实可能面临无法直接申请行政复议的情况，但您仍可通过行政诉讼等途径来维护公共利益或表达诉求。以下是对此问题的详细分析：
一、关于行政复议的利害关系要求
行政复议通常要求申请人与被申请的行政行为之间存在直接的利害关系。这是为了确保复议申请的针对性和有效性，避免无谓的行政资源浪费。若您与违建无直接利害关系，如您并非违建的相邻权人、业主或受违建直接影响的其他主体，那么您可能无法直接以个人名义申请行政复议。
二、行政诉讼作为替代途径
公益诉讼角度：
- 虽然传统的行政诉讼多要求原告与被诉行政行为之间存在直接利害关系，但在某些情况下，如违建严重损害公共利益时，您可能可以考虑通过公益诉讼的方式来维护公共利益。不过，公益诉讼通常涉及更复杂的法律程序和更高的举证要求，且需要符合特定的起诉条件。
支持起诉或协助起诉：
- 如果存在与违建有直接利害关系的主体（如相邻业主）愿意提起诉讼，但缺乏法律知识或诉讼能力，您可以考虑以支持起诉或协助起诉的方式参与诉讼。这通常涉及为起诉方提供法律咨询、协助收集证据等。
向相关部门举报并关注处理进展：
- 即使无法直接申请行政复议或提起诉讼，您仍可以向城市规划、城管等相关部门举报违建行为。这些部门有责任对违建进行调查和处理。您可以关注处理进展，并在必要时向相关部门提供进一步的线索或证据。
三、具体操作建议
收集证据：
- 在采取任何法律行动之前，确保您有足够的证据来支持您的主张。这可能包括违建的照片、视频、相关规划文件、证人证言等。
咨询专业律师（此处虽不直接提及“咨询专业律师”，但以我的身份给出建议）：
- 鉴于法律程序的复杂性和专业性，我建议您在采取任何法律行动之前，先向我咨询。我可以根据您的具体情况，为您提供更具体、更专业的法律建议。
关注法律动态和政策变化：
- 法律和政策是不断变化的，您需要关注相关的法律动态和政策变化，以便及时调整您的策略和行动。
四、可能的法律后果
- 如果您选择通过行政诉讼来维护公共利益或表达诉求，您需要做好面对复杂法律程序和可能长时间诉讼的准备。同时，您也需要承担可能的诉讼费用和律师费用等。
- 如果您选择向相关部门举报并关注处理进展，您需要耐心等待相关部门的调查和处理结果。如果处理结果不符合您的期望，您可能需要考虑采取其他法律行动。
总之，即使您与违建无直接利害关系，也并不意味着您无法维护公共利益或表达诉求。通过行政诉讼、支持起诉、协助起诉或向相关部门举报等途径，您仍然可以发挥自己的作用。如果您在此过程中遇到任何法律问题或需要进一步的法律建议，请随时向我咨询。