结论前置：针对您描述的情况，是否构成法律意义上的“兼职”以及老板能否因此起诉您，需要分情况讨论，具体如下：
若您与两边老板均存在劳动关系，且未违反劳动合同约定
根据《劳动合同法》第三十九条，劳动者同时与其他用人单位建立劳动关系，对完成本单位工作任务造成严重影响，或经用人单位提出拒不改正的，用人单位可解除合同。但若您能证明两边工作未影响原单位任务（如工作时间不重叠、任务量可兼顾），且原单位未明确禁止兼职，则老板仅以“兼职”为由起诉您，法院可能不予支持。
建议：整理工作记录（如考勤、任务完成情况）、劳动合同中关于兼职的条款，证明未影响原单位利益。
若您与两边老板存在劳动关系，但违反了原单位规章制度或劳动合同中的禁止性条款
若劳动合同或公司规章制度明确禁止员工兼职（如“未经许可不得从事第二职业”），且您未获原单位书面同意，则原单位可依据《劳动合同法》第三十九条解除合同，并可能主张您赔偿损失（如因兼职导致原单位项目延误的直接经济损失）。但需注意，老板“起诉您兼职”本身不直接构成侵权，而是可能以“严重违反规章制度”为由解除合同或索赔。
建议：检查劳动合同和规章制度，若存在禁止性条款，尽快与原单位协商补签兼职同意书或调整工作安排。
若您与两边老板的关系属于劳务关系（非劳动关系）
若您与两边老板签订的是《劳务合同》（如临时项目合作），则不受《劳动合同法》关于兼职的限制。但若原单位以“影响工作”为由起诉，需由其举证您因兼职导致其利益受损（如未按时完成核心任务）。若无法举证，法院可能驳回诉求。
建议：区分劳动关系与劳务关系的关键在于是否接受单位管理、是否按月领取工资、是否缴纳社保。若为劳务关系，保留合作协议、工作成果交付记录等证据。
若老板以“兼职”为由恶意起诉，实际目的是逼迫您离职
实践中，部分用人单位可能以“兼职”为借口，实则想规避支付经济补偿。若您能证明原单位无证据证明兼职影响工作（如工作评价良好、任务按时完成），且原单位未提前30日书面通知解除合同，则可能构成违法解除，您可主张2N倍经济补偿（N为工作年限）。
建议：收集原单位解除合同的通知、工作评价记录、同事证言等，证明解除行为违法。
最后提醒：法律问题需结合具体证据判断，若您已收到原单位的书面警告或起诉材料，建议尽快整理劳动合同、工作记录、沟通记录等证据，向我详细描述事件经过（如两边工作的时间安排、原单位是否明确反对兼职等），以便进一步分析。