在外设立公司向自己所在单位供货，确实有可能构成犯罪，以下是一些相关案例及法律分析：

1. 构成非国家工作人员受贿罪或职务侵占罪的案例：

   • 案例概述：某公司高管利用职务之便，在外设立公司，并利用其职务影响力，使自己所在单位与该外部公司签订供货合同，从中谋取私利。这种行为可能构成非国家工作人员受贿罪（如果高管收受了外部公司的贿赂）或职务侵占罪（如果高管通过外部公司侵占了所在单位的财产）。
   • 法律分析：根据《中华人民共和国刑法》的相关规定，非国家工作人员受贿罪是指公司、企业或者其他单位的工作人员利用职务上的便利，索取他人财物或者非法收受他人财物，为他人谋取利益的行为。职务侵占罪则是指公司、企业或者其他单位的人员，利用职务上的便利，将本单位财物非法占为己有，数额较大的行为。

2. 构成贪污罪或受贿罪的案例（针对国家工作人员）：

   • 案例概述：如果该高管是国家工作人员（如国有企业高管），其在外设立公司并向自己所在单位供货的行为，可能构成贪污罪或受贿罪。贪污罪是指国家工作人员利用职务上的便利，侵吞、窃取、骗取或者以其他手段非法占有公共财物的行为。受贿罪则是指国家工作人员利用职务上的便利，索取他人财物，或者非法收受他人财物，为他人谋取利益的行为。
   • 法律分析：根据《中华人民共和国刑法》的相关规定，贪污罪和受贿罪都是针对国家工作人员的犯罪行为，其构成要件和处罚标准都有明确规定。

3. 构成商业贿赂罪的案例：

   • 案例概述：即使高管不是国家工作人员，其在外设立公司并向自己所在单位供货的行为，如果涉及向单位内部人员行贿以获取不正当利益，也可能构成商业贿赂罪。
   • 法律分析：商业贿赂罪是指经营者为销售或者购买商品而采用财物或者其他手段贿赂对方单位或者个人的行为。这种行为破坏了市场竞争的公平性，损害了其他经营者的合法权益。

法律建议：

• 对于公司高管而言，应严格遵守法律法规和公司章程，不得利用职务之便谋取私利。
• 如果确实需要在外设立公司或进行其他商业活动，应事先向公司申报并获得批准，确保活动的合法性和透明度。
• 对于公司而言，应建立健全的内部控制制度和监督机制，防止高管利用职务之便进行违法活动。

后续行动：

• 如果您或您所在的公司遇到了类似的问题，建议及时咨询专业律师进行法律分析和风险评估。
• 在处理此类问题时，应保留好相关证据和文件，以便在需要时提供证明。

总之，在外设立公司向自己所在单位供货的行为，如果涉及利用职务之便谋取私利或破坏市场竞争的公平性，就有可能构成犯罪。因此，建议相关人员严格遵守法律法规和公司章程，确保活动的合法性和透明度。如果您有任何法律问题或需要进一步的法律咨询，请随时向我提问。