核心结论：
关于卸下车牌的处罚：根据《中华人民共和国道路交通安全法》及相关规定，车辆在道路上行驶或停放时，必须悬挂有效的机动车号牌。若车辆停在路边并卸下车牌，属于未按规定悬挂机动车号牌的违法行为，通常会被处以200元以上2000元以下罚款，并可能扣留机动车，直至提供合法号牌。若情节严重，如多次违法或造成严重后果，还可能面临行政拘留等更严厉的处罚。
关于如何知道是谁的车：
- 通过车辆信息查询：交警部门或相关执法机构可以通过车辆识别代码（VIN码）、发动机号等车辆唯一标识信息，在车辆管理系统中查询车辆的所有者信息。
- 现场调查与询问：执法人员可以现场询问车主或相关人员，了解车辆情况，并要求提供行驶证、驾驶证等相关证件。
- 利用监控设备：如果路边有监控摄像头，执法机构可以通过调取监控录像，查找车辆停放前后的活动情况，进而确定车主身份。
关于罚谁：
- 直接责任人：通常情况下，卸下车牌并停放车辆的行为人（即车主或驾驶员）是直接责任人，应承担相应的法律责任。
- 特殊情况：如果车辆是被他人非法使用或盗用，且车主能提供充分证据证明自己不知情且未参与违法行为，那么车主可能不承担直接责任。但车主有义务及时报警并配合执法机构调查。
深入分析：
- 卸下车牌的违法性：机动车号牌是车辆合法上路行驶的重要标识，卸下车牌不仅违反了交通管理规定，也增加了道路交通安全风险。因此，执法机构对此类行为通常采取严厉的处罚措施。
- 车辆信息查询的合法性：交警部门或相关执法机构在查询车辆信息时，必须遵循法定程序和权限，确保查询行为的合法性和正当性。同时，车主也有权保护自己的个人信息不被非法获取和滥用。
- 责任划分的复杂性：在确定责任人时，需要综合考虑多种因素，如行为人的主观意图、车辆的使用情况、车主的过错程度等。因此，在实际操作中，责任划分可能因案件具体情况而有所不同。
建议与提醒：
- 遵守交通法规：车主和驾驶员应严格遵守交通管理规定，确保车辆合法上路行驶和停放。
- 保护个人信息：车主应妥善保管自己的车辆信息和相关证件，避免信息泄露和非法使用。
- 及时报警与配合调查：如果车辆被盗用或非法使用，车主应及时报警并配合执法机构调查，以维护自己的合法权益。
如有任何疑问或需要进一步的法律帮助，请随时向我咨询。