结论：您描述的情况一般不构成包庇罪，但可能涉及其他法律责任或风险，具体需结合实际情况判断。以下从多个角度为您详细分析：
一、包庇罪的构成要件
包庇罪，是指明知是犯罪的人而为其提供隐藏处所、财物，帮助其逃匿或者作假证明包庇的行为。其构成要件包括：
- 主观方面：必须明知是犯罪的人，即对被包庇者的犯罪行为有明确的认识。
- 客观方面：实施了提供隐藏处所、财物，帮助逃匿或作假证明包庇等行为。
结合您的情况：您是在不知情的情况下有人到您家吸毒，且您发现后立即赶走了他们，并未提供隐藏处所、财物或帮助逃匿，也未作假证明包庇。因此，从包庇罪的构成要件来看，您的情况不符合包庇罪的构成。
二、可能涉及的其他法律责任或风险
未履行报告义务的风险：
- 虽然您的情况不构成包庇罪，但如果您明知有人吸毒而未向公安机关报告，可能涉及未履行公民的报告义务。不过，这一义务通常针对的是明知犯罪行为而故意隐瞒的情况，且法律并未明确规定未报告即构成犯罪。但如果您作为房屋的所有者或管理者，对房屋内发生的吸毒行为负有管理责任而未报告，可能面临一定的行政责任或道德责任。
房屋管理责任：
- 如果您是房屋的所有者或管理者，您有义务确保房屋不被用于非法活动。如果房屋被用于吸毒等非法活动，且您未尽到合理的管理责任，可能面临一定的行政处罚或民事赔偿风险。不过，这一风险通常与您是否知情、是否采取合理措施防止非法活动发生等因素有关。
三、法律建议
及时报警：
- 尽管您已经赶走了吸毒者，但为了维护社会秩序和公共安全，建议您在发现此类情况时及时向公安机关报警。这样不仅可以避免自己陷入不必要的法律风险，还可以帮助公安机关及时打击犯罪行为。
加强房屋管理：
- 作为房屋的所有者或管理者，您应加强对房屋的管理和监督，确保房屋不被用于非法活动。可以采取定期检查、安装监控设备等措施来提高房屋的安全性。
了解法律知识：
- 建议您多了解一些与房屋管理、治安管理相关的法律知识，以便在遇到类似情况时能够正确应对和处理。
最后，如果您在处理此类情况时遇到任何法律问题或困惑，可以直接向我咨询。我会根据您的具体情况提供专业的法律意见和帮助。