结论前置：临时种集体耕地，不种时集体是否可以收回，需分情况讨论，具体如下：

1. 若存在合法有效的承包或租赁合同：

   • 根据《中华人民共和国民法典》及相关农村土地承包法律法规，若您与集体组织签订了合法有效的承包或租赁合同，并明确约定了土地的使用期限、用途、双方的权利义务以及合同终止的条件等，那么在不种时，集体组织能否收回土地，需依据合同的具体约定来判断。
   • 如果合同中明确约定了在不种或违反合同约定时，集体组织有权收回土地，那么集体组织在符合合同约定的情况下是可以收回土地的。
   • 如果合同中没有明确约定或约定不明确，那么集体组织不能单方面随意收回土地，而应通过协商、调解或法律途径解决争议。

2. 若不存在合法有效的承包或租赁合同：

   • 若您与集体组织之间没有签订合法有效的承包或租赁合同，而只是基于口头协议或临时安排进行耕种，那么这种耕种行为可能缺乏法律保障。
   • 在这种情况下，集体组织有权根据土地管理的需要和集体利益，决定是否收回土地。但集体组织在收回土地时，也应遵循公平、公正、公开的原则，并给予您合理的补偿或安排。

3. 特殊情况下的土地收回：

   • 如果您的耕种行为违反了国家法律法规或政策规定，如非法占用土地、改变土地用途等，那么集体组织或相关政府部门有权依法收回土地，并可能对您进行处罚。
   • 另外，如果因国家建设、公共利益等需要，集体组织需要收回土地进行统一规划或开发利用，那么也应按照相关法律法规的规定，给予您合理的补偿和安置。