针对您提出的“起诉签订的房屋和土地转让协议无效返还土地属于什么案由”这一问题，我的分析如下：
结论前置：
起诉签订的房屋和土地转让协议无效并要求返还土地，这一诉求在法律上通常归类为“确认合同无效纠纷”以及可能伴随的“物权保护纠纷”（特别是当涉及土地返还时）。但具体案由的确定还需结合案件的具体情况和法院的认定。
详细分析：
确认合同无效纠纷：
- 当您认为与对方签订的房屋和土地转让协议存在无效情形（如违反法律强制性规定、恶意串通损害他人利益等）时，您可以向法院提起诉讼，请求确认该协议无效。
- 此类案件的核心在于审查协议的合法性和有效性，法院将根据相关法律法规和事实情况作出判断。
物权保护纠纷（可能伴随）：
- 如果协议被确认无效，且涉及土地等不动产的返还，您可能还需要提起物权保护纠纷的诉讼，要求对方返还土地。
- 物权保护纠纷主要关注物权的归属和保护，法院将根据物权法的相关规定，判断您是否有权要求返还土地，并作出相应的裁决。
多角度分析：
从协议性质角度：
- 如果协议涉及的是农村集体土地或宅基地的转让，且违反了相关法律法规（如未经批准、非本集体经济组织成员购买等），则协议很可能被认定为无效。此时，您提起的诉讼将主要围绕确认合同无效展开。
从物权变动角度：
- 如果协议已经导致土地等不动产的物权发生变动（如过户登记），但协议被确认无效后，物权变动的基础将不复存在。此时，您除了要求确认合同无效外，还需要提起物权保护纠纷的诉讼，要求对方返还土地。
从诉讼策略角度：
- 在实际诉讼中，您可能需要根据案件的具体情况和法院的认定，灵活调整诉讼策略。例如，如果法院认为协议部分无效或存在可撤销的情形，您可能需要考虑是否变更诉讼请求或提起新的诉讼。
法律建议：
- 在提起诉讼前，建议您充分收集证据，证明协议存在无效情形以及您有权要求返还土地。
- 考虑到此类案件的复杂性和专业性，建议您在诉讼过程中寻求专业律师的帮助，以确保您的权益得到充分保障。
如有任何法律问题或需要进一步的法律咨询，请直接向我提问。