结论：您是否可以直接起诉扣车人，取决于您与扣车人之间的法律关系以及扣车行为的性质。以下从不同角度为您详细分析：
一、若您与扣车人之间存在直接的法律关系（如扣车人直接侵害了您的物权）
法律背景：
- 根据《中华人民共和国民法典》的相关规定，物权是权利人依法对特定的物享有直接支配和排他的权利，包括所有权、用益物权和担保物权。任何组织或者个人不得侵犯他人的物权。
- 如果扣车人未经您同意，擅自扣留您的车辆，这构成了对您物权的侵害。
法律建议：
- 在这种情况下，您可以直接以扣车人为被告，向人民法院提起民事诉讼，要求扣车人返还车辆，并可能要求赔偿因扣车给您造成的损失。
二、若您与扣车人之间不存在直接的法律关系，但扣车行为与租赁关系有关（如承租人将车辆抵押或质押给第三人，第三人扣车）
法律背景：
- 在这种情况下，扣车行为可能涉及到您与承租人之间的租赁合同关系，以及承租人与扣车人之间的其他法律关系（如抵押、质押等）。
- 如果承租人未经您同意，将车辆抵押或质押给第三人，并导致车辆被扣，这可能构成承租人对租赁合同的违约。
法律建议：
- 角度一：您可以选择先以承租人为被告，提起民事诉讼，要求承租人承担违约责任，包括返还车辆或赔偿损失。如果承租人无法返还车辆或赔偿损失，且扣车行为与承租人的抵押或质押行为有关，您可以考虑将扣车人作为第三人加入诉讼，或者另行起诉扣车人，但需证明扣车行为的违法性和您因此遭受的损失。
- 角度二：如果扣车行为明显违法（如扣车人明知车辆不属于承租人所有而仍扣留），且您能够直接证明扣车人侵害了您的物权，您也可以直接起诉扣车人，要求返还车辆并赔偿损失。不过，在这种情况下，您可能需要同时考虑承租人的违约责任，以便更全面地维护自己的权益。
三、特殊情况：扣车行为可能涉及刑事犯罪
法律背景：
- 如果扣车行为涉及盗窃、抢劫、抢夺等刑事犯罪，那么扣车人将面临刑事责任的追究。
法律建议：
- 在这种情况下，您应该立即向公安机关报案，由公安机关进行刑事立案侦查。如果扣车人被追究刑事责任，您作为被害人可以在刑事诉讼过程中提起附带民事诉讼，要求扣车人赔偿您的损失。
进一步思考：
- 在处理此类纠纷时，建议您首先收集并保存所有相关证据，包括租赁合同、车辆所有权证明、扣车现场的照片或视频、与扣车人的沟通记录等。这些证据将有助于您在诉讼中证明自己的主张。
- 考虑到法律程序的复杂性和专业性，如果您对法律程序不熟悉或感到困惑，建议您及时咨询专业律师（即向我咨询），以便更好地维护自己的合法权益。
总之，您是否可以直接起诉扣车人取决于多种因素，包括您与扣车人之间的法律关系、扣车行为的性质以及您能否提供充分的证据来支持自己的主张。如有任何疑问或需要进一步的法律帮助，请随时向我咨询。