承包人一般不可以直接起诉占有人交付土地，但存在例外情况。以下从不同角度进行分析：
- 合同相对性角度
- 村委会与承包人之间签订了土地承包合同，根据合同的相对性原则，该合同仅对村委会和承包人具有法律约束力。土地的非法占有人并非该合同的当事人，不受该合同的约束。所以，从单纯的合同关系来看，承包人不能直接依据承包合同起诉非法占有人要求交付土地。
- 物权保护角度
- 如果承包人已经依法取得了土地承包经营权证等物权凭证，那么其对承包的土地享有合法的物权。此时，非法占有人占有土地的行为侵犯了承包人的物权。
- 根据《民法典》等相关法律规定，物权受到侵害的，权利人可以通过和解、调解、仲裁、诉讼等途径解决。但是，直接起诉要求交付土地在程序上可能并非最直接的方式。一般来说，承包人可以先要求村委会履行其作为发包方的义务，由村委会出面解决非法占有问题，因为村委会对村里的土地具有一定的管理职责。
- 如果村委会不履行职责或者无法解决问题，承包人可以以侵权为由起诉非法占有人，要求其停止侵害、返还土地等。不过，这种侵权诉讼需要承包人能够证明自己对土地享有合法的物权以及非法占有人的侵权行为。
- 特殊情况
- 如果村委会在与承包人签订承包合同之前，已经通过合法程序解除了与非法占有人之间的土地占用关系（例如，非法占有人原本是基于某种合同关系占用土地，但该合同已被依法解除），并且村委会能够证明其发包行为合法有效，那么承包人在一定条件下可能可以直接起诉非法占有人。但这种情况需要满足诸多条件，如村委会的发包行为符合法律法规和村里的相关规定、有充分的证据证明非法占有人的占用行为不合法等。
建议：承包人在遇到这种情况时，首先应收集好相关的证据，如土地承包合同、物权凭证、村委会的相关证明文件等。然后，可以与村委会协商，要求村委会协助解决非法占有问题。如果协商无果，可以咨询专业律师，根据具体情况选择合适的法律途径来维护自己的合法权益。如果你还有其他关于土地承包法律方面的问题，可以直接向我咨询。