交通管理部门不能直接将司机和乘客的隐私信息作为罚款证据，除非该隐私信息是通过合法程序收集且与违法行为直接相关。具体分析如下：

1. 隐私信息的法律保护
   根据《中华人民共和国民法典》第1032条，自然人享有隐私权，任何组织或个人不得以刺探、侵扰、泄露、公开等方式侵害他人隐私。交通管理部门在执法过程中，若涉及对司机或乘客隐私信息的获取（如通话记录、行车轨迹、车内监控等），必须严格遵循法定程序，否则可能构成对隐私权的侵犯。

2. 隐私信息作为证据的合法性要件
   若交通管理部门拟将隐私信息作为罚款证据，需满足以下条件：

   • 合法性：信息必须通过合法手段获取（如依法安装的交通监控设备、执法记录仪等），且符合《行政处罚法》第36条关于证据收集程序的规定（如两名以上执法人员出示证件、告知权利等）。
     
   • 关联性：隐私信息需与违法行为直接相关（如通过车内监控证明司机未系安全带），而非无关的私人信息（如乘客的聊天内容）。
     
   • 必要性：在有其他合法证据可证明违法行为的情况下，应优先使用非隐私信息，避免过度侵入个人隐私。

3. 例外情形
   在特定紧急情况下（如涉嫌危险驾驶、逃逸等严重违法行为），交通管理部门可能依据《刑事诉讼法》或《反恐怖主义法》等法律，在严格限制条件下临时获取隐私信息，但仍需后续通过法定程序补全手续，否则证据可能被排除。

4. 违法取证的后果
   若交通管理部门通过非法手段（如私自调取通话记录、非法安装监控设备）获取隐私信息作为证据，根据《行政诉讼法》第43条及《最高人民法院关于行政诉讼证据若干问题的规定》，该证据将被认定为非法证据，不得作为处罚依据，且相关责任人员可能面临行政处分或刑事责任。

建议：若司机或乘客认为交通管理部门在执法中侵犯其隐私权，可通过行政复议或行政诉讼主张权利，要求撤销处罚并赔偿损失。如有具体案例或疑问，可直接向我咨询，我将结合细节进一步分析。