结论：对方起诉你占用其林地0.4亩并要求赔偿3万到5万，这一诉求是否合理，需结合具体证据和法律规定来判断，无法直接给出肯定或否定的结论。以下从多个角度进行分析：

一、林地占用事实的认定

1. 证据要求：对方需要提供充分的证据证明你确实占用了其林地0.4亩。这可能包括土地权属证明、现场照片、证人证言等。如果对方无法提供确凿的证据，其诉求可能难以得到法院的支持。

2. 实地勘查：在诉讼过程中，法院可能会组织双方进行实地勘查，以确认林地占用的实际情况。勘查结果将作为判断你是否占用林地及占用面积的重要依据。

二、赔偿金额的合理性

1. 损失评估：对方要求赔偿3万到5万，这一金额需要基于其实际损失进行评估。如果对方能够证明因你占用林地而遭受了相应的经济损失（如林木损失、土地租金损失等），且损失金额与诉求相符，则赔偿金额可能合理。

2. 法律依据：根据《中华人民共和国民法典》等相关法律规定，因侵权行为造成他人损失的，应当承担赔偿责任。但赔偿金额需以实际损失为限，不得随意夸大。如果对方无法证明其实际损失与诉求金额相符，或者诉求金额明显高于实际损失，则赔偿金额可能不合理。

3. 市场价值参考：在评估赔偿金额时，还可以参考当地类似林地的市场价值、租金水平等因素。如果对方要求的赔偿金额远高于当地市场价值或租金水平，且无法提供合理解释，则赔偿金额可能不合理。

三、可能的法律后果

1. 如果诉求合理：如果法院认定你确实占用了对方林地且赔偿金额合理，你可能需要承担赔偿责任，并支付相应的赔偿金。

2. 如果诉求不合理：如果法院认定对方诉求不合理（如无法证明占用事实、赔偿金额过高等），则可能驳回对方的诉讼请求，你无需承担赔偿责任。

四、建议与措施

1. 收集证据：建议你积极收集与案件相关的证据，如土地权属证明、现场照片、证人证言等，以证明自己并未占用对方林地或占用面积与对方所述不符。

2. 咨询专业律师：由于林地纠纷涉及复杂的法律问题和证据认定，建议你咨询专业律师以获取更具体的法律建议。我可以为你提供专业的法律分析和诉讼策略指导。

3. 参与诉讼程序：在诉讼过程中，积极配合法院的调查和勘查工作，如实陈述事实并提供证据。同时，也可以对对方的证据和诉求进行质证和反驳。

最后，林地纠纷的处理需要综合考虑多种因素，包括事实认定、法律依据、市场价值等。如果你对案件有任何疑问或需要进一步的法律帮助，请随时向我咨询。