非法侵占他人农用地自留地，侵占者需要承担的责任主要包括民事责任、行政责任，若情节严重还可能构成犯罪，需承担刑事责任。以下是对这三种责任的详细分析：
民事责任：
- 恢复原状与赔偿损失：根据《中华人民共和国民法典》的相关规定，侵占他人土地属于侵权行为，侵占者有义务恢复土地原状，并赔偿因侵占行为给土地权利人造成的损失。这包括土地被侵占期间的收益损失、土地改良费用等直接和间接损失。
- 返还土地：侵占者必须返还非法侵占的土地给原权利人，确保土地权利人的合法权益得到恢复。
行政责任：
- 行政处罚：根据《中华人民共和国土地管理法》的规定，非法侵占土地的行为可能面临行政处罚，包括责令退还非法占用的土地、限期拆除在非法占用的土地上新建的建筑物和其他设施、恢复土地原状，以及罚款等。罚款的数额通常根据非法占用土地的面积和情节严重程度来确定。
- 行政处分：如果侵占行为涉及国家工作人员或公职人员，还可能面临行政处分，如警告、记过、记大过、降级、撤职、开除等。
刑事责任：
- 非法占用农用地罪：根据《中华人民共和国刑法》的相关规定，如果非法占用基本农田五亩以上或者基本农田以外的耕地十亩以上，或者非法占用其他农用地数量较大，造成耕地、林地等农用地大量毁坏的，将构成非法占用农用地罪。侵占者可能面临五年以下有期徒刑或者拘役，并处或者单处罚金的刑事处罚。
- 其他相关犯罪：如果侵占行为伴随有暴力、威胁等手段，或者涉及其他违法犯罪行为，如故意毁坏财物罪、寻衅滋事罪等，侵占者还可能面临其他相关犯罪的指控和处罚。
实际建议：
- 如果您发现自己的农用地自留地被非法侵占，首先应当收集相关证据，如土地权属证明、侵占现场的照片或视频等，以便在后续的法律程序中证明自己的权益。
- 您可以尝试与侵占者进行协商，要求其停止侵占行为并恢复土地原状。如果协商无果，您可以向当地土地管理部门或公安机关报案，寻求行政或刑事救济。
- 在处理此类纠纷时，建议您咨询专业律师的意见，以便更好地维护自己的合法权益。
总结与提醒：非法侵占他人农用地自留地是一种严重的违法行为，不仅损害了土地权利人的合法权益，也破坏了土地资源的合理利用和保护。因此，我强烈建议您在遇到此类问题时，及时采取措施维护自己的权益，并向相关部门报案或寻求法律帮助。如果您有任何疑问或需要进一步的法律咨询，请随时向我提问。