结论：这种情况需要分情况处理，关键在于入职时单位是否明确要求提供无犯罪记录证明以及该要求是否符合法律规定，同时结合您所在岗位的性质来判断单位的做法是否合理合法。以下是具体分析：

1. 若入职时单位未明确要求提供无犯罪记录证明，且该岗位不属于法律、行政法规明确规定必须进行无犯罪记录审查的岗位
   • 从法律层面来讲，单位在工作几年后突然要求提供无犯罪记录证明可能缺乏合法依据。因为根据相关规定，对于一般的就业岗位，用人单位不得随意扩大无犯罪记录证明的审查范围。例如普通的文职岗位、销售岗位等，通常并不涉及国家安全、公共安全等特殊要求，单位无权强制要求员工提供此类证明。
   • 您可以与单位进行沟通协商，向单位说明入职时并未有此要求，且该岗位也不符合必须提供无犯罪记录证明的法定情形，要求单位撤销该不合理要求。如果单位坚持要求，您可以向当地的劳动监察部门投诉，劳动监察部门有权对用人单位的违法行为进行查处，维护您的合法权益。
2. 若入职时单位虽未明确要求提供无犯罪记录证明，但该岗位属于法律、行政法规明确规定必须进行无犯罪记录审查的岗位
   • 比如从事金融行业的一些关键岗位、教育行业中的教师岗位、保安行业等，这些岗位由于涉及到公众利益、公共安全等重要方面，法律、行政法规明确规定从业者必须具备无犯罪记录。在这种情况下，单位在工作几年后要求您提供无犯罪记录证明是合理合法的。
   • 您应当积极配合单位的要求，前往户籍所在地的公安机关开具无犯罪记录证明。如果您确实存在犯罪记录，单位可能会根据相关规定和内部规章制度，与您解除劳动合同。不过，单位在解除劳动合同时，也需要遵循法定程序，例如提前通知您、支付相应的经济补偿等（具体是否支付经济补偿以及支付标准要根据实际情况和法律规定来确定）。
3. 若入职时单位在招聘公告、劳动合同等文件中明确约定了需要提供无犯罪记录证明，但当时您未提供，单位也未及时发现
   • 这可能存在一定的过错分担问题。一方面，您未按照约定提供相关证明，可能构成一定的违约行为；另一方面，单位在入职时未尽到严格的审查义务。在这种情况下，单位要求您提供无犯罪记录证明也是有一定合理性的。
   • 您还是应该先配合单位开具证明。如果证明显示您有犯罪记录，单位可能会依据双方之前的约定以及相关法律法规来处理，可能会解除劳动合同。但您也可以与单位协商，看是否能够给予一定的宽限期或者根据实际情况争取继续工作的机会。如果协商不成，您认为单位的处理方式侵犯了您的合法权益，可以通过劳动仲裁等法律途径来解决争议。