公司以劳务公司的身份扣留对方护照是违法的。以下从不同角度为你详细分析：

法律角度

根据《中华人民共和国护照法》的相关规定，护照是公民出入国境和在国外证明国籍和身份的证件，任何组织或者个人不得伪造、变造、转让、故意损毁或者非法扣押护照。劳务公司作为企业法人，并非国家执法机关或法律授权的机构，无权扣留他人的护照。因此，公司以劳务公司的身份扣留对方护照，明显违反了上述法律规定。

劳务派遣关系角度

在劳务派遣关系中，劳务公司作为派遣单位，与被派遣劳动者之间建立的是劳动关系。根据《中华人民共和国劳动合同法》的规定，用人单位应当依法保障劳动者的合法权益，包括但不限于劳动报酬、休息休假、劳动安全卫生、社会保险和福利等。扣留护照的行为，不仅侵犯了劳动者的个人财产权，还可能对劳动者的出行、工作等造成不便，进而损害其合法权益。因此，从劳务派遣关系的角度来看，公司扣留护照的行为也是不合法的。

实际后果与风险

1. 法律责任：如果劳务公司扣留了对方的护照，对方有权向公安机关报案，要求劳务公司返还护照并承担相应的法律责任。公安机关在查明事实后，可能会对劳务公司进行处罚，包括但不限于罚款、警告等。
2. 声誉损害：扣留护照的行为还可能对劳务公司的声誉造成损害。在劳务派遣市场中，声誉是企业的重要资产之一。如果劳务公司因为扣留护照等违法行为而受到处罚或曝光，将可能影响其与其他企业的合作和业务拓展。
3. 劳动关系紧张：扣留护照还可能引发被派遣劳动者与劳务公司之间的劳动关系紧张。劳动者可能会因此感到不满和不安，进而影响其工作积极性和效率。长期下去，还可能导致劳动者离职或提起劳动仲裁等法律纠纷。

建议与措施

1. 立即返还护照：如果劳务公司确实扣留了对方的护照，应当立即返还，并向对方道歉以消除不良影响。
2. 加强内部管理：劳务公司应当加强内部管理，完善相关规章制度，确保类似事件不再发生。例如，可以制定明确的护照管理规定，要求员工在出国前必须妥善保管好自己的护照，并禁止任何形式的扣留行为。
3. 提高法律意识：劳务公司应当加强对员工的法律培训和教育，提高员工的法律意识和合规意识。只有让员工充分认识到扣留护照等行为的违法性和危害性，才能有效避免类似事件的发生。

如果你或你身边的人遇到了类似的问题，或者有其他关于劳动工伤、婚姻家庭方面的法律问题，都可以直接向我咨询。我会用我的专业知识和经验，为你提供全面、准确的法律解答和建议。