结论：在楼顶小便被业主家监控拍到，业主以此为由进行罚款通常是违法的。以下从多个角度进行分析：
一、罚款的合法性分析
罚款主体资格：
- 根据我国相关法律规定，只有特定的行政机关（如公安机关、市场监管部门等）在法定职权范围内，才有权对违法行为进行罚款。
- 业主作为个人，并不具备罚款的行政权力。因此，业主以监控拍到在楼顶小便为由进行罚款，缺乏法律上的主体资格。
罚款的法律依据：
- 罚款通常需要有明确的法律依据，如违反了某项法律、法规或规章的规定。
- 在楼顶小便可能涉及违反公序良俗或物业管理规定，但这并不直接赋予业主罚款的权力。业主可以通过其他合法途径（如报警、向物业公司投诉等）来处理此类行为。
二、业主可能采取的合法措施
报警处理：
- 业主可以向公安机关报案，由公安机关根据具体情况进行调查处理。如果行为人的行为构成违法（如扰乱公共秩序等），公安机关可以依法对其进行处罚。
向物业公司投诉：
- 如果楼顶属于物业管理范围，业主可以向物业公司投诉，要求物业公司采取措施制止此类行为，并加强管理。
民事诉讼：
- 如果行为人的行为给业主造成了实际损失（如楼顶清洁费用等），业主可以通过民事诉讼的方式要求行为人进行赔偿。
三、行为人的法律责任
行政责任：
- 如果行为人的行为构成违法（如扰乱公共秩序、违反治安管理规定等），公安机关可以依法对其进行警告、罚款、拘留等行政处罚。
民事责任：
- 如果行为人的行为给业主或其他第三方造成了实际损失，行为人应当承担相应的民事赔偿责任。
四、建议与提醒
遵守公序良俗：
- 作为公民，应当遵守社会公德和法律法规，不在公共场所进行不雅行为。
理性处理纠纷：
- 如果遇到类似情况，业主应当保持冷静和理性，通过合法途径来处理纠纷，避免采取过激或违法的行为。
加强自我保护：
- 业主可以加强楼顶等公共区域的监控和管理，以防止类似行为的发生。同时，也可以考虑在楼顶等区域设置明显的警示标志或提示语。
如有任何法律疑问或需要进一步的法律帮助，请直接向我咨询。我会根据你的具体情况，提供专业的法律意见和解决方案。