往邻居家里丢垃圾被邻居罚款并不是一种正常的行为，但首先需要明确的是，向邻居家扔垃圾本身是不当且可能违法的行为。这种行为可能违反了《中华人民共和国治安管理处罚法》的相关规定，该法规定对于扰乱公共秩序、妨害公共安全、侵犯人身权利、财产权利以及妨害社会管理的行为，可以依法进行处罚。

具体来说，向邻居家扔垃圾扰乱了邻里之间的正常生活秩序，属于妨害社会管理的行为。若情节较轻，可能会面临警告；情节较重的，则可能会面临二百元以下罚款或警告。此外，这种行为还可能侵犯邻居的财产权等合法权益，邻居有权要求行为人停止侵害、排除妨碍，并有权要求赔偿由此造成的损失。

然而，关于邻居是否有权直接对你进行罚款，这需要根据具体的法律法规和当地的相关规定来判断。在大多数情况下，个人并没有直接对他人进行罚款的权力。如果邻居认为你的行为对其造成了损失或侵害，他们应该通过合法的途径来维护自己的权益，比如与你协商、向相关部门投诉或寻求法律援助等。

因此，如果你往邻居家里丢了垃圾并被要求罚款，你可以首先与邻居进行沟通，了解他们的具体诉求和依据，并尝试通过协商的方式解决问题。如果无法协商或你认为罚款要求不合理，你可以咨询当地的法律专业人士或相关部门，以了解你的权益和应对策略。

总之，往邻居家里丢垃圾是不当且可能违法的行为，应该避免这样做。如果因此产生了纠纷或问题，应该通过合法和合理的方式来解决。