结论：针对您提出的“违建是别人在我家地上建的，处罚哪个”的问题，一般来说，处罚会针对实施违建行为的主体，即实际进行建设的人或单位，而非土地的所有权人。但具体责任还需根据实际情况和法律规定来综合判断。

详细分析：

1. 违建行为的主体责任：

   • 根据相关法律法规，违建行为是指未经规划、建设等部门批准，擅自进行的建设活动。这种行为的责任主体是实际进行建设的人或单位，即违建者。
   • 在您的情况下，如果违建是别人在您家地上建的，那么违建者就是实际进行建设的人或单位，他们应当承担违建的法律责任。

2. 土地所有权人的责任：

   • 土地所有权人通常不因他人在其土地上违建而直接承担法律责任，除非土地所有权人明知或应知违建行为而未采取合理措施阻止或报告。
   • 如果您作为土地所有权人，对违建行为并不知情，或者已经采取了合理措施（如及时通知相关部门、尝试阻止违建等），那么您通常不需要承担违建的法律责任。

3. 可能的法律后果：

   • 违建者可能面临责令拆除违建、罚款、没收违法所得等行政处罚。
   • 如果违建行为造成了他人损害，违建者还可能承担民事赔偿责任。
   • 在极端情况下，如果违建行为涉及严重违法犯罪（如非法占用农用地、破坏环境资源等），违建者还可能面临刑事处罚。

4. 您的应对措施：

   • 首先，您应当收集证据证明违建行为是别人在您家地上进行的，如照片、视频、证人证言等。
   • 其次，您可以及时向当地规划、建设等部门报告违建行为，要求相关部门依法处理。
   • 如果违建行为已经对您造成了损害，您还可以考虑通过法律途径追究违建者的民事赔偿责任。

建议：

• 在处理此类问题时，建议您保持冷静，不要采取过激行为（如自行拆除违建、与违建者发生冲突等），以免引发不必要的法律纠纷。
• 如果您对违建行为的处理流程或法律责任有疑问，可以及时向我咨询，我会根据您的具体情况提供专业的法律建议。

后续行动：

• 如果您已经收集了相关证据并准备向相关部门报告违建行为，建议您在报告时详细说明违建的具体情况、位置、建设时间等信息，以便相关部门能够迅速准确地处理。
• 如果您考虑通过法律途径追究违建者的责任，建议您在起诉前咨询专业律师，了解诉讼流程、证据要求等事项，以确保您的权益得到有效维护。