建设单位拖着不验收，监理单位一般不可以直接撤销人员，但需根据具体情况采取相应措施。以下从不同角度为您详细分析：

一、合同角度

1. 合同约定：首先，需要查看监理合同中关于验收和人员配置的具体约定。如果合同中明确规定了建设单位应在一定期限内完成验收，且未验收时监理单位有权调整人员配置，那么监理单位可以依据合同条款采取相应措施。但这种情况较为少见，因为通常合同不会赋予监理单位如此大的权力。

2. 违约责任：如果建设单位无正当理由拖延验收，构成违约，监理单位可以依据合同要求建设单位承担违约责任，如支付违约金、赔偿损失等。但这并不直接涉及监理人员的撤销问题。

二、法律角度

1. 监理职责：监理单位的主要职责是监督工程建设质量、进度和安全等。在建设单位未验收的情况下，监理单位仍需履行其监督职责，确保工程质量符合标准。因此，监理单位不能因建设单位未验收而擅自撤销监理人员，否则可能构成违约或违法。

2. 法律程序：如果建设单位长期拖延验收，且双方无法协商解决，监理单位可以通过法律途径解决争议，如提起诉讼或申请仲裁。但在法律程序进行期间，监理单位仍需保持监理人员的配置，以确保工程建设的连续性。

三、实际操作角度

1. 沟通协商：在建设单位拖延验收的情况下，监理单位应首先与建设单位进行沟通协商，了解拖延的原因，并尝试达成解决方案。通过沟通协商，可能能够促使建设单位尽快完成验收，从而避免不必要的法律纠纷。

2. 调整策略：如果沟通协商无果，监理单位可以考虑调整其监理策略，如加强现场监督、增加监理频次等，以确保工程质量不受影响。同时，监理单位也可以向相关部门报告情况，寻求帮助和支持。

四、特殊情况处理

1. 合同解除：在极端情况下，如果建设单位长期拖延验收且无法协商解决，监理单位可以考虑依据合同条款解除监理合同。但解除合同前需谨慎评估法律后果和风险，并确保符合合同约定的解除条件。

2. 人员调整：虽然监理单位不能直接因建设单位未验收而撤销监理人员，但在合同解除或双方协商一致的情况下，监理单位可以对监理人员进行调整或撤换。但这种情况需要遵循合同约定和法律规定，确保合法合规。

建议：面对建设单位拖着不验收的情况，监理单位应保持冷静和理性，通过沟通协商、法律途径或调整策略等方式解决问题。同时，监理单位也应加强内部管理，确保监理人员的配置和职责履行不受影响。如果您在此过程中遇到任何法律问题或需要进一步的法律建议，请直接向我咨询。