结论：外单位来你单位施工时，你单位一般不可以随意收取安全保证金，但在符合特定条件且履行相应程序的情况下，可能存在收取的合理性。以下从不同角度进行分析：

1. 法律法规层面

   • 一般规定：目前并没有明确的法律法规直接赋予一般单位向外来施工单位收取安全保证金的权力。根据《中华人民共和国民法典》中关于合同和侵权责任的相关规定，合同双方的权利义务应当基于平等、自愿、公平的原则确定。如果双方没有在合同中明确约定收取安全保证金，单位单方面收取可能缺乏法律依据，甚至可能被认定为不当得利。
   • 特殊行业规定：在某些特殊行业，如矿山、建筑施工、危险化学品等行业，可能会有相关的行业规定或地方性法规对安全保证金作出规定。例如，在一些地方，对于矿山开采项目，可能会要求外来施工单位缴纳一定数额的安全保证金，以确保其在施工过程中遵守安全生产规定。但这些规定通常具有特定的适用范围和条件，需要严格按照规定执行。

2. 合同约定层面

   • 双方协商一致：如果双方在施工合同中明确约定了收取安全保证金的相关条款，包括保证金的数额、缴纳方式、退还条件等，并且该约定不违反法律法规的强制性规定，那么这种收取行为是具有合法性的。在这种情况下，安全保证金可以作为一种担保方式，促使外来施工单位遵守安全生产规定，保障施工安全。
   • 条款合理性：即使合同中有收取安全保证金的约定，也需要确保该条款的合理性。例如，保证金的数额应当与施工项目的风险程度相适应，不能过高或过低；退还条件应当明确、合理，不能设置不合理的障碍。如果合同条款存在显失公平的情况，外来施工单位可以依据《中华人民共和国民法典》的规定，请求人民法院或仲裁机构变更或撤销该条款。

3. 实际操作层面

   • 目的正当性：单位收取安全保证金的目的是为了保障施工安全，确保外来施工单位遵守相关的安全生产规定。如果收取保证金的目的不正当，例如为了谋取私利或变相增加外来施工单位的负担，那么这种行为是不被允许的。
   • 管理规范性：如果单位决定收取安全保证金，应当建立健全相应的管理制度，对保证金的收取、使用、退还等环节进行规范管理。例如，应当设立专门的账户存放保证金，确保资金的安全；在施工过程中，应当定期对外来施工单位的安全生产情况进行检查，根据检查结果决定是否扣除保证金；在施工结束后，应当按照合同约定及时退还保证金。

建议：在决定是否收取安全保证金时，你单位应当谨慎考虑，充分评估其合法性和合理性。如果确实需要收取，应当与外来施工单位在平等、自愿的基础上签订详细的合同，明确双方的权利义务。同时，要加强内部管理，确保保证金的使用符合规定。如果你单位在操作过程中遇到任何法律问题，都可以直接向我咨询。