不可以直接向被审查调查人收缴涉案财物，需严格遵循法定程序。具体分析如下：

1. 法定程序要求
   根据《中华人民共和国监察法》第二十三条及《中华人民共和国刑事诉讼法》第一百四十一条，监察机关或司法机关在调查、侦查过程中，若需查封、扣押、冻结涉案财物，必须依法出具相关法律文书（如《查封/扣押决定书》《冻结通知书》），并由两名以上调查人员/侦查人员执行。直接收缴行为缺乏法律文书支撑，属于程序违法。

2. 权利保障原则
   被审查调查人作为当事人，其合法财产权利受法律保护。直接收缴可能侵犯其陈述权、申辩权及财产权，违反《宪法》第十三条“公民的合法的私有财产不受侵犯”的规定。若财物与案件无关，直接收缴更可能导致国家赔偿责任。

3. 例外情形说明
   仅在紧急情况下（如涉案财物可能被转移、隐匿或毁损），调查人员可先行采取保全措施，但需在24小时内补办法定手续，并通知被审查调查人或其家属。若未补办，相关措施将被依法撤销。

4. 实务建议

• 对执法机关：务必严格遵循“先审批、后执行”原则，确保每一步操作均有法律文书佐证。
  
• 对当事人：若遭遇直接收缴，可要求对方出示法律文书，并保留拒绝配合的权利。后续可通过申诉、复议或诉讼途径维权。
  

温馨提示：涉案财物处理程序复杂，涉及证据固定、权利告知等多环节。如有具体案件疑问，可直接向我咨询，我将结合案情进一步分析。