不能仅因对方拿走合同就随意不履行协议，能否不履行协议需视具体情况而定。以下从不同角度为您详细分析：
合同成立且生效的情况：
- 若合同已经成立并生效，那么合同双方都应当依照合同的约定来履行各自的义务。即便对方拿走了合同，这也不能成为您不履行协议的正当理由。因为从法律的角度来看，合同自双方达成合意时即成立，依法成立的合同对双方都具有法律约束力。
- 法律后果：如果您不履行合同，可能会构成违约，需要承担违约责任，如支付违约金、赔偿损失等。
存在法定免责事由或合同约定解除条件成就的情况：
- 如果存在法定的免责事由，比如不可抗力致使合同目的无法实现，或者合同中约定的解除条件已经成就，如对方严重违约在先等，那么在满足相应条件和程序的情况下，您可以主张不履行协议。
- 法律建议：在这种情况下，您应当及时收集并保留相关证据，如不可抗力的证明、对方违约的证据等，以便在需要时证明自己的主张。
因对方拿走合同导致无法确定合同内容或履行细节的情况：
- 如果因为对方拿走了合同，导致您无法确定合同的具体内容或履行细节，那么您应当及时与对方进行沟通协商，要求对方提供合同文本或明确相关条款。
- 法律途径：如果协商不成，您可以通过法律途径来维护自己的权益，如申请法院调取合同等方式来确定自身的权利义务，进而判断是否应当履行协议。
- 法律依据：根据《中华人民共和国民法典》的相关规定，当事人订立合同可以采用书面形式、口头形式或其他形式。当合同内容以电子数据交换、电子邮件等方式能够有形地表现并可以随时调取查用时，这些电子形式也被视为书面形式。因此，即便合同原件被对方拿走，您仍可通过法律途径，利用电子证据来证明合同的存在和主要内容。
行动建议：
- 首先，尝试与对方沟通，要求归还合同或提供合同文本。
- 如果对方拒绝，您可以考虑向相关部门投诉处理。
- 同时，尽力通过其他方式，如电子邮件、微信聊天记录、电话录音等，来确认和保留合同的主要条款内容。
- 在整个过程中，注意收集并保留相关证据，以备不时之需。
如果您在处理此类问题时遇到任何困难或疑问，可以直接向我咨询，我会根据您的具体情况提供更详细的法律建议。