结论：一般情况下，买到违建几十年后拆除，较难直接追究执法部门前期不作为的法律责任，但在特定情形下可能存在例外。以下为你详细分析：

难以追究执法部门前期不作为责任的情况

从行政法的基本原理来看，行政机关的行政不作为是指行政主体有积极实施行政行为的职责和义务，应当履行而未履行或拖延履行的行为。然而，要追究执法部门前期不作为的责任，需要满足一定的条件，并且存在诸多阻碍因素。

• 时效问题：行政诉讼中，对行政机关不作为提起诉讼有一定的起诉期限限制。根据相关法律规定，公民、法人或者其他组织直接向人民法院提起诉讼的，应当自知道或者应当知道作出行政行为之日起六个月内提出。法律另有规定的除外。对于违建问题，如果违建存在了几十年，从时间跨度上来说，很可能已经超过了法定的起诉期限。例如，假设在违建建成后的第 10 年，相关权利人就已经知晓了违建情况以及执法部门未履行职责的事实，但一直未采取法律行动，那么在几十年后想要追究执法部门责任，就可能因超过起诉期限而被法院驳回。
• 因果关系难以认定：要追究执法部门不作为的责任，需要证明执法部门的不作为与违建的存在以及后续拆除所造成的损失之间存在直接的因果关系。然而，违建的形成往往是由多种因素导致的，如建设者的违法行为、规划部门的监管漏洞等。在违建存在了几十年的情况下，很难清晰地界定执法部门的不作为在其中起到了多大的作用。比如，可能存在建设者在违建建成后，通过一些手段规避了执法部门的检查，或者执法部门在当时由于人力、物力等资源的限制，无法及时发现和处理违建问题。

可能追究执法部门前期不作为责任的例外情况

虽然一般情况下难以追究执法部门的责任，但在某些特殊情况下，仍然有可能成功主张权利。

• 存在持续的不作为行为：如果执法部门在违建存在的几十年间，一直存在明显的不作为行为，且这种不作为行为是持续的、未间断的，那么可能不受起诉期限的限制。例如，执法部门在明知违建存在的情况下，多年来从未进行过任何调查、处理，也没有采取任何措施阻止违建的继续使用或扩大，这种情况下，权利人可以在发现执法部门持续不作为后的合理期限内提起诉讼。
• 有新的证据证明执法部门明知且故意不作为：如果能够找到新的证据，证明执法部门在违建存在的几十年间，明知违建情况却故意不履行职责，那么可以增加追究其责任的可能性。例如，发现了执法部门内部的相关文件、会议记录等，明确显示执法部门知晓违建问题，但由于某些不当利益关系而选择不处理。

法律建议

• 收集证据：如果你认为执法部门存在前期不作为的情况，并且想要追究其责任，首先要尽可能收集相关的证据。这些证据可以包括违建的相关资料（如建设时间、规模、用途等）、执法部门的相关文件或记录（如巡查记录、处理决定等）、证人证言等。证据的充分性和有效性将直接影响你主张权利的成功率。
• 咨询专业意见：由于追究执法部门不作为责任涉及到复杂的法律程序和法律问题，建议你咨询专业的律师。律师可以根据你提供的具体情况，进行深入的法律分析，评估追究执法部门责任的可能性和可行性，并为你制定合理的诉讼策略。
• 考虑其他途径：除了追究执法部门的法律责任外，你还可以考虑通过其他途径来解决违建拆除所带来的问题。例如，与违建的建设者或使用者进行协商，要求其承担相应的赔偿责任；或者向相关部门申请行政补偿，如果违建拆除是由于公共利益的需要而进行的。

如果你在房屋产权方面还有其他疑问，或者需要进一步的法律帮助，可以直接向我咨询。