行政机关仅以对方的建筑物是很久以前就有的为由不予立案，这一行为是否违法，不能一概而论，需要结合具体情况进行分析。以下是从不同角度对此问题的详细解答：

1. 行政机关立案的法定条件：

   • 行政机关在决定是否立案时，应当依据相关法律法规的规定，对案件的事实、证据、性质等进行全面审查。如果建筑物虽然存在已久，但存在违法建设、侵犯他人权益等情形，且这些情形符合行政机关立案的法定条件，那么行政机关就不能仅以建筑物存在已久为由拒绝立案。

2. 建筑物存在已久是否构成免责理由：

   • 建筑物存在已久，并不意味着其建设行为就必然合法或免受行政处罚。如果建筑物的建设违反了当时的法律法规，或者虽然建设时合法但后续因法律法规变更而变为违法，且该违法行为持续存在，那么行政机关仍有权依法进行查处。
   • 另一方面，如果建筑物的建设确实合法，且没有侵犯他人权益或违反其他法律法规的规定，那么行政机关自然没有立案的必要。但这种情况下的“不予立案”是基于建筑物的合法性，而非其存在的时间长短。

3. 行政机关不予立案的合法性审查：

   • 如果行政机关仅以建筑物存在已久为由不予立案，而没有进行充分的调查和审查，那么这一行为可能构成违法。因为行政机关在行使职权时，必须遵循法定程序，确保决策的合法性和合理性。
   • 您可以要求行政机关出具不予立案的书面决定，并说明理由。如果行政机关无法提供充分的理由或证据支持其决定，那么您可以考虑通过行政复议或行政诉讼等途径来维护自己的合法权益。

4. 具体案例与法律适用：

   • 在实际案例中，建筑物存在已久是否构成不予立案的理由，还需要结合具体的法律法规和案件事实来判断。例如，如果建筑物违反了城乡规划法、土地管理法等相关法律法规的规定，且这些违法行为持续存在，那么行政机关就有权依法进行查处，无论建筑物存在多久。

建议：

• 如果您认为行政机关的不予立案决定违法或不合理，您可以先与行政机关进行沟通，要求其说明理由并提供相关证据。
• 如果沟通无果，您可以考虑向上一级行政机关申请行政复议，或者向人民法院提起行政诉讼，以维护自己的合法权益。

在处理此类问题时，请务必保留好相关证据和文件，以便在需要时提供证明。如果您有任何疑问或需要进一步的法律帮助，请随时向我咨询。