驾驶员闲谈，单位有权依据内部规定进行处罚。具体分析如下：

一. 单位处罚权的来源

• 单位对驾驶员的处罚权通常来源于内部的规章制度或劳动合同中的相关条款。这些制度或条款会明确规定员工在工作中的行为规范和违反规范的处罚措施。
• 在本案例中，公交公司依据相关规定对开车时闲聊的驾驶员做出了扣除当月文明服务奖的处罚，这是公司行使内部管理权的表现。

二. 处罚的合理性

• 驾驶员在驾驶过程中闲聊，不仅可能分散注意力，增加交通事故的风险，还可能影响乘客的乘坐体验和公交公司的形象。
• 因此，公司对此类行为进行处罚，既是对驾驶员的警示，也是对公司规章制度的维护，同时也是对乘客负责的表现。

三. 法律依据

• 虽然直接的法律依据可能因地区和公司而异，但通常劳动法或相关行政法规会赋予用人单位一定的内部管理权，包括对员工的奖惩。
• 在没有具体法律条文明确禁止驾驶员闲谈的情况下，公司可以依据内部规章制度进行处罚。

综上所述，单位有权依据内部规定对驾驶员闲谈的行为进行处罚。这不仅是对公司规章制度的维护，也是对乘客安全和乘坐体验的保障。如有进一步需要，您可以继续咨询我。