结论：上班偶尔看、听小说和看视频，并不一定会直接成为老板开除员工的证据，是否构成开除的合法理由需结合具体情况判断。以下从不同角度进行分析：
公司规章制度的角度：
- 如果公司有明确的规章制度，且该制度中明确规定了上班期间禁止进行与工作无关的活动，如看、听小说和视频等，并且该制度已经通过合法程序（如职工代表大会或全体职工讨论、与工会或职工代表协商确定等）制定并公示，那么员工违反此规定，公司有权依据规章制度对员工进行相应的处理，包括警告、罚款甚至开除。但开除作为最严厉的处罚措施，通常需要员工多次违反或情节严重，且公司需确保处理程序的合法性。
工作性质与影响的角度：
- 如果员工的工作性质要求高度集中注意力，如操作机器、驾驶车辆等，而看、听小说和视频等行为明显分散了员工的注意力，增加了工作风险，甚至导致了工作事故或损失，那么公司有权认为这种行为严重违反了工作职责，并可能构成开除的合法理由。
- 如果员工的行为虽然与工作无关，但并未对工作造成实质性影响，如员工在完成工作任务后的空闲时间进行，且未影响其他同事的工作或公司的正常运营，那么公司以此为由开除员工可能缺乏合理性。
法律规定的角度：
- 根据《劳动合同法》的相关规定，公司开除员工需有合法理由，并需遵循法定程序。如果公司仅凭员工偶尔看、听小说和看视频的行为就开除员工，且该行为并未达到严重违反公司规章制度或工作职责的程度，那么公司的开除行为可能构成违法解除劳动合同，员工有权要求公司支付赔偿金。
建议：
- 对于员工而言，应严格遵守公司的规章制度，避免在工作期间进行与工作无关的活动，以免给自己带来不必要的麻烦。如果确实需要在工作间隙进行放松，可以选择更合适的方式，如短暂休息、走动等。
- 对于公司而言，应制定合理、明确的规章制度，并确保员工知晓并遵守。在处理员工违规行为时，应遵循法定程序，确保处理结果的合法性和合理性。如果员工的行为确实违反了规章制度或工作职责，且情节严重，公司可以考虑采取相应的处罚措施，但应避免过度处罚或违法解除劳动合同。
后续行动：
- 如果您作为员工遇到了此类情况，且认为公司的开除行为缺乏合法性或合理性，可以向当地劳动监察部门投诉或申请劳动仲裁，以维护自己的合法权益。
- 如果您作为公司方，在处理员工违规行为时遇到法律难题或需要法律支持，也可以直接向我咨询，我将根据您的具体情况提供专业的法律建议。