结论：非利害关系人针对违建部门不履职拖延时间的行为，一般不能直接申请行政复议；但若该不履职行为间接影响其合法权益，或存在其他法定情形，则可能具备申请资格。以下从不同角度详细分析：
一、非利害关系人通常不具备直接申请行政复议的资格
根据《中华人民共和国行政复议法》的相关规定，行政复议的申请人通常需与具体行政行为存在直接利害关系。这意味着，如果违建部门的不履职行为并未直接侵害到您的合法权益，您作为非利害关系人，一般不具备直接申请行政复议的资格。例如，若您仅是旁观者或无关第三方，对违建部门的处理进度不满，但并未因此遭受任何实际损失或权益侵害，那么您通常不能直接申请行政复议。
二、特定情形下非利害关系人可能具备申请资格
尽管非利害关系人通常不具备直接申请行政复议的资格，但在某些特定情形下，您可能仍具备申请资格。这些情形包括但不限于：
不履职行为间接影响合法权益：如果违建部门的不履职行为虽然未直接侵害您的权益，但间接导致了您的合法权益受损（如因违建长期存在导致周边环境恶化，进而影响您的居住品质或商业利益），您可能具备申请行政复议的资格。在此情况下，您需要证明不履职行为与您的权益受损之间存在因果关系。
存在其他法定情形：根据《中华人民共和国行政复议法》或其他相关法律法规的规定，可能存在其他允许非利害关系人申请行政复议的情形。例如，若违建部门的不履职行为违反了法定程序或超越了法定职权，且该行为对公共利益造成了显著影响，您可能作为公共利益的代表或关注者，具备申请行政复议的资格。然而，这种情况下的申请资格通常较为严格，需要满足特定的法定条件。
三、建议与行动指南
评估自身权益受损情况：在决定是否申请行政复议前，您应首先评估自身权益是否因违建部门的不履职行为而受损。如果确实存在权益受损的情况，且该受损与不履职行为之间存在因果关系，那么您可能具备申请资格。
收集证据材料：为了支持您的申请，您需要收集相关证据材料，包括但不限于违建部门的处理记录、不履职行为的证明材料、您权益受损的证明材料等。这些证据材料将有助于证明您的申请资格和复议请求的合理性。
咨询专业律师：由于行政复议程序涉及复杂的法律问题和程序要求，建议您在申请前咨询专业律师的意见。律师将能够根据您的具体情况和法律法规的规定，为您提供专业的法律建议和指导。
遵循法定程序申请行政复议：如果您决定申请行政复议，应确保按照法定程序进行申请。这包括填写正确的申请表格、提交必要的证据材料、在法定期限内提出申请等。遵循法定程序将有助于提高您的申请效率和成功率。
如有任何疑问或需要进一步的法律帮助，请直接向我咨询。