往您家围墙扔垃圾的行为是违法的，可能涉及民事侵权、行政违法，甚至在特定情况下可能构成刑事犯罪。以下从不同角度为您详细分析：

一、民事法律方面

1. 侵犯相邻权

   • 相邻关系是指相互毗邻的不动产所有人或使用人之间在行使权利时发生的权利义务关系。邻居出租屋的人员往您家围墙扔垃圾，明显干扰了您对不动产的正常使用和安宁生活，构成对相邻权的侵犯。
   • 法律依据：根据《中华人民共和国民法典》第二百八十八条，不动产的相邻权利人应当按照有利生产、方便生活、团结互助、公平合理的原则，正确处理相邻关系。您有权要求停止侵权行为，并主张损失赔偿。

2. 构成民事侵权

   • 扔垃圾行为不仅可能损坏您的财物（如围墙、植物等），还可能影响您的人身权益，如垃圾异味、不卫生状况对健康的影响。
   • 法律依据：依据《中华人民共和国民法典》第一千一百六十五条，行为人因过错侵害他人民事权益造成损害的，应当承担侵权责任。这意味着，您有权要求扔垃圾者赔偿因此造成的损失。

二、行政法律方面

1. 违反治安管理处罚法

   • 若此类行为多次发生，严重干扰您的正常生活，可视为扰乱公共秩序的行为。
   • 法律依据：虽然《中华人民共和国治安管理处罚法》第五十八条主要针对噪声污染，但类似干扰他人正常生活的行为也可参照此条款进行处罚，包括警告、罚款等。

2. 违反环境卫生相关法规

   • 往他人住所扔垃圾违反了维护公共卫生、不得随意丢弃废弃物的规定。
   • 具体处罚：根据地方环境卫生管理规定，扔垃圾者可能面临警告、罚款等行政处罚。具体标准和依据各地规定有所不同，但通常都会对此类行为进行规制。

三、刑事法律方面（极少数情况）

• 在极少数情况下，如果扔垃圾行为情节特别严重，例如扔大量有害垃圾或危险物品，对您的生命安全造成严重威胁或导致严重后果，可能涉嫌刑事犯罪，如以危险方法危害公共安全罪。但这种情况相对罕见，需根据具体情况及法律规定进行判断。

四、建议与应对措施

1. 协商解决：首先，我建议您与邻居进行友好协商，明确表达扔垃圾行为对您造成的影响，并寻求和解。这通常是解决此类纠纷最快捷、最有效的方式。

2. 投诉与法律援助：若协商不成，您可以向相关部门（如物业、居委会、城管等）投诉，要求他们介入处理。同时，您也可以寻求我的法律援助，我将根据具体情况为您提供专业的法律建议和支持。

3. 遵守法律法规：在日常生活中，我们应严格遵守法律法规，尊重他人的权益。对于邻居的违法行为，我们既要维护自己的合法权益，也要通过合法途径解决问题，共同维护和谐的生活环境。

总之，往您家围墙扔垃圾的行为是违法的，您有权要求停止侵权行为并主张损失赔偿。如有需要，请随时向我咨询，我将竭诚为您提供专业的法律服务。