结论：公司这种在入职当天因您担任其他公司法人而不予录用的行为，其合法性不能一概而论，需结合具体情况判断。以下从不同角度进行分析：
一、从招聘流程与录用条件的角度
若公司在招聘时已明确将“不得担任其他公司法人”作为录用条件：
- 根据《劳动合同法》的相关规定，用人单位在招聘时应当明确录用条件，并在劳动者入职前进行告知。如果公司在招聘公告、面试过程中或录用通知中明确告知了这一条件，且您在入职时确实担任其他公司法人，那么公司以此为由不予录用，是合法的。
- 建议：在这种情况下，公司有权根据事先设定的录用条件来决定是否录用您。如果您希望避免类似情况，可以在未来求职时仔细阅读招聘公告，了解并确认录用条件。
若公司在招聘时未明确将“不得担任其他公司法人”作为录用条件：
- 如果公司在招聘过程中没有提及这一条件，而在入职当天突然以此为由不予录用，那么这种行为可能构成违约或违法解除劳动合同（如果已签订劳动合同）。
- 建议：您可以与公司沟通，要求公司说明不予录用的具体原因，并查看是否违反了招聘时的承诺或相关法律法规。如果公司无法提供合理理由，您可以考虑通过法律途径维护自己的权益。
二、从法律限制与竞业禁止的角度
法律限制：
- 担任公司法人本身并不违反法律法规，但可能受到一些特定行业或职位的限制。例如，某些行业可能要求公司法人不得同时担任其他竞争公司的法人或高管。
- 建议：您可以了解所应聘行业或职位是否有此类限制，并确认自己是否符合相关要求。
竞业禁止：
- 如果您与原公司签订了竞业禁止协议，且该协议在有效期内，那么您在竞业禁止期限内担任其他公司法人可能违反协议约定。但这种情况通常与新公司的录用决策无直接关联，除非新公司明确要求您不得违反竞业禁止协议。
- 建议：如果您与原公司有竞业禁止协议，应在求职时告知新公司，并确认新公司的录用决策是否受此影响。
三、从实际操作与公平性的角度
实际操作：
- 公司在入职当天才知晓您担任其他公司法人，可能说明公司在招聘过程中的背景调查不够充分。但这并不直接决定公司不予录用的合法性。
- 建议：您可以与公司沟通，了解公司背景调查的流程和标准，以及为何在入职当天才得知这一信息。
公平性：
- 如果公司以您担任其他公司法人为由不予录用，但这一条件并未在招聘时明确告知，且您因此遭受了经济损失（如放弃了其他工作机会），那么公司的行为可能缺乏公平性。
- 建议：在这种情况下，您可以考虑与公司协商赔偿事宜，或通过法律途径寻求公正解决。
总结与进一步行动建议：公司这种不予录用的行为是否合法，取决于公司在招聘时是否明确告知了录用条件、所应聘行业或职位是否有特定限制、以及公司背景调查的充分性和公平性等因素。如果您认为公司的行为违法或违约，建议您先与公司沟通协商，尝试解决问题；如果协商无果，您可以考虑向劳动监察部门投诉或提起劳动仲裁，以维护自己的合法权益。如有任何疑问或需要进一步的法律帮助，请随时向我咨询。