结论：在对方起诉你私自拿走物品拒不归还，但只有证明物品在你手里的证据而没有其他直接证据的情况下，对方要承担举证不能的不利后果，但你也需要积极应对，提供反驳证据或理由，以维护自己的合法权益。以下从多个角度为你详细分析：
一、从举证责任的角度分析
在民事诉讼中，一般遵循“谁主张，谁举证”的原则。对方起诉你私自拿走物品拒不归还，那么对方就需要承担举证责任，即需要提供充分的证据来证明你确实私自拿走了其物品且拒不归还。如果对方只有证明物品在你手里的证据，而没有其他直接证据（如你拿走物品的现场视频、证人证言等）来证明你是私自拿走且拒不归还，那么对方可能无法完成其举证责任。在这种情况下，法院可能会因为对方举证不能，而不支持对方的诉讼请求。
举例：假设对方称你拿走了其一台笔记本电脑，但对方只能提供一张照片证明该笔记本电脑现在在你处，却无法提供你拿走时的视频、证人证言等证据，那么对方就很难证明你是私自拿走且拒不归还。
二、从你的应对策略角度分析
虽然对方可能举证不能，但你也不能掉以轻心。你需要积极应对，提供反驳证据或理由，以证明你并没有私自拿走对方的物品或者你已经归还了对方的物品。
提供反驳证据：你可以提供证据证明你是合法取得该物品的，比如对方曾经将该物品赠予你、借给你使用的证据等。或者，你可以提供证据证明你已经将该物品归还给了对方，比如归还时的收条、视频等。
提出合理理由：如果确实无法提供反驳证据，你也可以提出合理理由来解释为什么该物品会在你处。比如，你是帮对方保管该物品、你是从第三方处合法取得该物品等。
三、从法律后果的角度分析
如果对方无法举证：如果对方确实无法提供充分的证据来证明你私自拿走其物品且拒不归还，那么法院可能会驳回对方的诉讼请求，你不需要承担任何法律责任。
如果你无法提供反驳证据或理由：虽然对方可能举证不能，但如果你也无法提供反驳证据或理由来证明自己的清白，那么法院可能会根据现有证据和案件情况，进行综合判断。在这种情况下，你可能会面临一定的法律风险，比如被法院判决返还物品或者赔偿损失等。但这种情况相对较少，因为法院在判决时会非常谨慎，会充分考虑双方的证据和陈述。
建议：面对对方的起诉，建议你积极收集证据，准备应诉材料，并在法庭上充分陈述自己的观点和理由。如果你对法律程序不熟悉或者感到困惑，可以随时向我咨询，我会根据你的具体情况，为你提供专业的法律建议和帮助。