结论：承包集体土地不交承包费，大队书记公开把土地归还村民这一行为，并不直接导致合同无效，但可能构成违约，合同是否继续有效需视具体情况而定。以下从不同角度进行分析：
一、合同效力与违约行为的关系
合同效力：合同一旦成立并生效，除非存在法定或约定的无效情形（如欺诈、胁迫、恶意串通损害国家或第三人利益等），否则合同对双方均具有法律约束力。承包集体土地的合同，若双方意思表示真实，内容合法，且已依法办理相关手续，则合同有效。
违约行为：不交承包费属于违约行为，即承包方未按照合同约定履行支付承包费的义务。违约行为本身并不直接导致合同无效，但守约方有权要求违约方承担违约责任，包括继续履行、赔偿损失等。
二、大队书记归还土地行为的法律性质
大队书记的权限：大队书记作为集体组织的代表，其行为应代表集体组织的意志。然而，归还土地这一行为并非大队书记个人可以随意决定，而应依据合同约定、法律法规或集体组织的决策程序进行。
归还土地的合法性：若合同中明确约定了不交承包费时集体组织有权收回土地，且该约定不违反法律法规的强制性规定，则大队书记在符合合同约定和法定程序的情况下归还土地，可能被视为合法行为。但若合同未作此约定，或大队书记的行为违反了合同约定或法定程序，则归还土地的行为可能构成违约或侵权。
三、合同是否继续有效的判断
合同约定：首先应查看合同中是否有关于不交承包费时合同效力的约定。若合同明确约定了不交承包费时合同自动终止或集体组织有权收回土地并终止合同，则合同可能因此失效。
法定情形：若合同未作此约定，则需考虑是否存在法定情形导致合同失效。如前所述，不交承包费本身并不直接导致合同无效，除非该行为构成了根本违约，且守约方选择解除合同。
实际履行情况：若承包方虽未交承包费，但双方仍在实际履行合同（如承包方继续使用土地，集体组织未提出异议），则可能视为双方以实际行为变更了合同中的支付条款，合同仍继续有效。
四、建议与措施
协商解决：建议双方首先通过协商解决纠纷，明确承包费的支付方式、期限及违约责任等事项，以维护合同的稳定性和双方的合作关系。
法律途径：若协商无果，守约方（集体组织）可依据合同约定或法律法规的规定，向法院提起诉讼或申请仲裁，要求违约方（承包方）承担违约责任或解除合同。
完善合同：为避免类似纠纷的发生，建议双方在签订合同时明确约定承包费的支付方式、期限、违约责任及合同解除条件等事项，并依法办理相关手续。
如有任何疑问或需要进一步的法律帮助，请直接向我咨询。