交通执法过程中，仅凭乘客的证言，在没有其他证据的情况下，一般不能直接处罚出租车违规揽客。以下从几个角度进行详细分析：

证据的充分性

在交通执法过程中，证据的充分性是处罚决定的关键。乘客的证言虽然可以作为证据之一，但通常需要与其他证据相互印证，形成完整的证据链，才能作为处罚的依据。如果仅凭乘客的证言，而没有其他如现场监控、执法记录仪记录、其他目击者证言等证据，那么这样的处罚决定可能会因为证据不足而被质疑或撤销。

法律原则

根据法律原则，行政处罚应当遵循公正、公开、过罚相当等原则。公正原则要求处罚决定必须基于充分、确凿的证据，不能仅凭主观臆断或单一证据作出。公开原则要求执法过程应当公开透明，接受社会监督。过罚相当原则要求处罚的种类和幅度应当与违法行为的事实、性质、情节以及社会危害程度相适应。因此，仅凭乘客证言处罚出租车违规揽客，可能违反了这些法律原则。

实际案例与司法实践

在实际案例中，如果交通执法部门仅凭乘客证言对出租车司机进行处罚，而司机对此提出异议并申请行政复议或提起行政诉讼，那么法院在审查时，会重点审查证据的充分性和合法性。如果法院认为证据不足或存在瑕疵，可能会撤销或变更处罚决定。

建议与措施

1. 收集更多证据：交通执法部门在执法过程中，应当尽可能收集多方面的证据，如现场监控、执法记录仪记录、其他目击者证言等，以形成完整的证据链。
2. 遵循法律程序：在作出处罚决定前，应当遵循法律程序，如告知当事人有权陈述、申辩等，确保当事人的合法权益得到保障。
3. 加强执法培训：提高执法人员的法律素养和执法能力，确保他们在执法过程中能够准确、公正地收集证据和作出处罚决定。

若您遇到类似情况，对处罚决定有异议，可以及时向我咨询，我会根据您的具体情况，提供专业的法律建议和帮助。