结论：司机在乘客与自己发生口角后，将乘客拉回起点的行为，是否违法需分情况讨论，若司机无正当理由擅自改变行程，可能构成违约或侵权；若存在威胁、恐吓等行为，还可能触犯《治安管理处罚法》。以下从不同角度详细分析：

一、从合同角度分析

乘客乘坐出租车，与司机之间形成了运输合同关系。司机的义务是按照乘客指定的路线，将乘客安全、及时地送达目的地。若司机无正当理由，擅自改变行程，将乘客拉回起点，这明显违反了运输合同的约定，构成违约行为。乘客有权要求司机继续履行合同，或者要求司机承担违约责任，比如赔偿因行程改变而产生的额外费用（如重新打车费用、时间损失等）。

二、从侵权角度分析

如果司机的行为不仅违反了合同约定，还对乘客的人身或财产权益造成了损害，那么司机还可能构成侵权。例如，司机在拉回乘客的过程中，对乘客进行了辱骂、推搡等行为，侵犯了乘客的人格权；或者因司机的行为导致乘客受伤、财物丢失等，侵犯了乘客的健康权和财产权。在这种情况下，乘客可以要求司机承担侵权责任，包括赔偿损失、赔礼道歉等。

三、从治安管理角度分析

如果司机的行为情节严重，比如存在威胁、恐吓乘客等行为，扰乱了公共秩序或者侵犯了乘客的人身安全，那么司机的行为还可能触犯《治安管理处罚法》。根据该法的规定，对于扰乱公共秩序、侵犯人身权利等行为，公安机关可以给予警告、罚款、拘留等行政处罚。

法律建议

1. 保留证据：乘客在遇到此类情况时，应尽可能保留相关证据，如录音、录像、聊天记录等，以便在后续维权时提供有力支持。
2. 及时报警：如果司机的行为已经构成违法或犯罪，乘客应及时向公安机关报案，维护自己的合法权益。
3. 协商或诉讼：乘客可以先尝试与司机或出租车公司进行协商，寻求和解；如果协商无果，乘客可以向法院提起诉讼，要求司机承担违约责任或侵权责任。

举例说明：假设乘客小张乘坐出租车前往机场，途中与司机发生口角。司机一气之下，将小张拉回起点。小张因此错过了航班，产生了额外的改签费用和住宿费用。在这种情况下，小张可以要求司机承担违约责任，赔偿其因行程改变而产生的额外费用。如果司机在拉回小张的过程中，对小张进行了辱骂或推搡，小张还可以要求司机承担侵权责任，包括赔偿精神损失费等。

进一步思考：乘客在乘坐出租车时，应尽量保持冷静和理智，避免与司机发生不必要的争执。如果遇到司机的不当行为，乘客应及时采取措施保护自己的合法权益，如保留证据、及时报警等。同时，出租车公司也应加强对司机的培训和管理，提高司机的服务意识和法律意识，减少类似事件的发生。

有问题可以直接向我咨询，我会根据你的具体情况提供更详细的法律建议。