被检查单位有异议时，确实可以陈述和申辩。

在行政执法过程中，被检查单位若对行政机关的检查行为、检查结果或拟作出的行政处罚等事项存在异议，有权进行陈述和申辩。这是被检查单位依法享有的权利，也是行政机关应当保障被检查单位行使的权利。

具体来说，陈述权是指被检查单位有权就相关事实、情节、证据等向行政机关进行说明和解释，以表达自己的观点和立场。申辩权则是指被检查单位有权对行政机关的指控、证据或处罚建议等提出异议，进行辩解和反驳。

行政机关在执法过程中，应当充分听取被检查单位的陈述和申辩，对其提出的事实、理由和证据进行认真审查，并据此作出公正、合理的决定。如果行政机关忽视或拒绝听取被检查单位的陈述和申辩，将可能构成程序违法，影响行政决定的合法性和有效性。

因此，被检查单位在面临行政机关的检查或处罚时，应当积极行使自己的陈述和申辩权利，充分表达自己的观点和立场，以维护自身的合法权益。如有需要，可以寻求专业律师的帮助，以确保自己的权利得到有效保障。