出租车私自扣乘客钱是违法的。

出租车作为公共交通工具，其收费应当遵循相关的法律法规和物价部门的规定。如果出租车司机私自扣乘客的钱，这首先违反了出租车行业的管理规定，同时也侵犯了乘客的合法权益。

从法律角度来看，出租车司机私自扣钱可能构成不当得利或侵权。不当得利是指没有法律根据，使他人受到损失而自己获得了利益。在这种情况下，出租车司机没有合法的依据扣留乘客的钱款，因此构成不当得利。同时，这种行为也侵犯了乘客的财产权，乘客有权要求司机返还被扣的钱款，并可以依法追究司机的法律责任。

此外，如果出租车司机私自扣钱的行为情节严重，还可能构成犯罪，如敲诈勒索等。这时，乘客不仅可以向公安机关报案，还可以依法要求司机承担刑事责任。

综上所述，出租车私自扣乘客钱是违法的，乘客在遇到这种情况时，应当及时保留证据，如录音、录像、乘车发票等，以便后续维权。如果与司机协商无果，乘客可以向交通运输管理部门投诉，或者依法向人民法院提起诉讼，维护自己的合法权益。