下辈一般不可以直接收回上辈让出的自留山小块土地，但具体能否收回需视情况而定。以下是从不同角度进行的分析：
一、法律原则与规定
物权变动原则：
- 根据《民法典》的相关规定，物权的设立、变更、转让和消灭，应当依照法律规定进行登记或交付。若上辈将自留山的小块土地让出，虽无字据，但若实际交付且受让方已实际占有、使用多年，可能已形成事实上的物权变动。
善意取得制度：
- 如果受让方在受让时是善意的（即不知且不应知该土地存在权属争议），且以合理的价格转让，并已经实际占有该土地，那么根据善意取得制度，受让方可能取得该土地的所有权或使用权。
二、具体情况分析
无字据但实际交付：
- 若上辈确实将土地让出，且受让方已实际占有、使用多年，即使没有书面字据，也可能因长期的实际占有和使用而形成稳定的物权关系。此时，下辈想要收回土地，可能会面临法律上的困难。
存在权属争议：
- 如果下辈认为上辈的让出行为存在误解、欺诈或胁迫等情形，或者受让方并非善意取得，那么下辈可以通过法律途径主张权利，要求确认让出行为无效或撤销让出行为，从而收回土地。但这一过程需要充分的证据支持。
协商与调解：
- 在处理此类纠纷时，协商与调解是首选的方式。下辈可以与受让方进行沟通，尝试通过协商达成一致意见，如给予一定的补偿后收回土地。如果协商不成，也可以寻求第三方（如村委会、调解委员会等）的调解。
三、建议与措施
收集证据：
- 如果下辈想要收回土地，首先需要收集相关证据，如上辈的让出意愿、受让方的占有和使用情况、是否存在权属争议等。这些证据将有助于下辈在法律程序中主张自己的权利。
咨询专业律师：
- 由于此类纠纷涉及复杂的法律关系和证据收集，下辈可以咨询专业律师，获取更具体的法律建议和指导。律师可以根据下辈的具体情况，制定合适的法律策略，帮助下辈维护自己的合法权益。不过，你遇到法律问题可以直接向我咨询，我会为你提供专业的法律意见。
遵循法律程序：
- 如果需要通过法律途径解决纠纷，下辈需要遵循法律程序，如提起民事诉讼或申请仲裁等。在法律程序中，下辈需要充分陈述自己的事实和理由，并提供相关证据支持自己的主张。