针对您提出的问题，首先明确结论：邻居故意往退伍军人家属家里扔土的行为，属于侵权行为，受害者有权要求邻居停止侵害、赔偿损失，并可根据情况追究其法律责任。
一、法律背景与依据
人格权保护：
- 根据《中华人民共和国民法典》的相关规定，自然人享有生命权、身体权、健康权、姓名权、肖像权、名誉权、荣誉权、隐私权等人格权。虽然直接的法律条款可能并未明确提及“往家里扔土”这一具体行为，但该行为无疑侵犯了受害者的安宁生活权，属于对人格权的一种间接侵害。
侵权责任：
- 《民法典》明确规定了侵权责任，即行为人因过错侵害他人民事权益造成损害的，应当承担侵权责任。邻居故意往受害者家里扔土，显然存在过错，且该行为对受害者的生活造成了影响，因此应承担相应的侵权责任。
二、具体法律建议
收集证据：
- 受害者应首先收集相关证据，如现场照片、视频、目击者证言等，以证明邻居的侵权行为。这些证据在后续的法律程序中至关重要。
与邻居协商：
- 在收集到足够证据后，受害者可以尝试与邻居进行协商，要求其停止侵害行为，并赔偿因此造成的损失。协商过程中，可以保持冷静和理性，避免情绪化的冲突。
寻求社区或警方帮助：
- 如果协商无果，受害者可以向社区居委会或当地警方寻求帮助。社区居委会可以介入调解，而警方则可以根据情况对邻居进行警告或处罚。
提起民事诉讼：
- 如果上述途径均无法解决问题，受害者可以向人民法院提起民事诉讼，要求邻居承担侵权责任。在诉讼过程中，受害者需要提交相关证据，并证明邻居的行为确实对其造成了损害。
三、可能的法律后果
停止侵害：
- 如果法院认定邻居的行为构成侵权，邻居将被要求立即停止侵害行为，即不再往受害者家里扔土。
赔偿损失：
- 邻居还需赔偿受害者因此造成的损失，包括但不限于清理费用、精神损害赔偿等。具体赔偿金额将根据受害者的实际损失和邻居的过错程度等因素综合确定。
行政处罚或刑事责任：
- 如果邻居的行为情节严重，如多次实施、造成严重后果等，还可能面临行政处罚或刑事责任。例如，如果邻居的行为被认定为寻衅滋事或故意毁坏财物等犯罪行为，将可能受到刑事处罚。
四、特殊情况考虑
- 退伍军人家属的特殊身份：
- 虽然退伍军人家属的身份在法律上并不直接赋予其特殊的保护地位，但社会应给予他们更多的尊重和关爱。如果邻居的行为明显针对退伍军人家属的身份进行欺辱，这可能构成对受害者名誉权的侵害，受害者在维权时可以强调这一点。
最后，建议您在处理此类问题时保持冷静和理性，通过合法途径维护自己的权益。如果需要进一步的法律帮助或咨询，请随时向我提问。