结论前置：合同到期后，用人单位是否可以直接说不要劳动者，不能一概而论，需根据合同类型、续签情况、劳动者意愿及法律规定综合判断。以下从不同角度详细分析：
一、固定期限劳动合同到期后的处理
用人单位维持或提高条件续签，劳动者拒绝：
- 法律后果：用人单位无需支付经济补偿，合同自然终止。
- 依据：根据《劳动合同法》第四十六条第五项，除用人单位维持或者提高劳动合同约定条件续订劳动合同，劳动者不同意续订的情形外，因劳动合同期满终止固定期限劳动合同的，用人单位应当向劳动者支付经济补偿。
用人单位降低条件续签或不愿续签：
- 法律后果：用人单位需支付经济补偿，标准按劳动者在本单位工作的年限，每满一年支付一个月工资。
- 依据：同上，即《劳动合同法》第四十六条第五项，此种情形下用人单位需支付经济补偿。
劳动者提出续签，用人单位拒绝：
- 法律后果：用人单位需支付经济补偿，且可能面临违法解除劳动合同的赔偿金（若劳动者要求继续履行合同且法院支持）。
- 依据：根据《劳动合同法》第四十八条，用人单位违反本法规定解除或者终止劳动合同，劳动者要求继续履行劳动合同的，用人单位应当继续履行；劳动者不要求继续履行劳动合同或者劳动合同已经不能继续履行的，用人单位应当依照本法第八十七条规定支付赔偿金（即二倍经济补偿）。
二、无固定期限劳动合同及以完成一定工作任务为期限的劳动合同
- 无固定期限劳动合同：除非存在法定或约定解除情形，否则用人单位不得随意解除。合同到期不适用，因无固定期限劳动合同无固定终止期限。
- 以完成一定工作任务为期限的劳动合同：任务完成时合同终止，用人单位无需支付经济补偿（除非法律另有规定或合同另有约定）。
三、特殊情形下的处理
劳动者患病或非因工负伤，医疗期满后不能从事原工作：
- 处理：用人单位需提前三十日以书面形式通知劳动者本人或额外支付一个月工资后，可以解除合同，并需支付经济补偿。
- 依据：根据《劳动合同法》第四十条第一项。
劳动者不能胜任工作，经过培训或调整工作岗位仍不能胜任：
- 处理：同上，用人单位需提前通知或额外支付工资后解除合同，并支付经济补偿。
- 依据：根据《劳动合同法》第四十条第二项。
劳动合同订立时所依据的客观情况发生重大变化，致使合同无法履行：
- 处理：用人单位需与劳动者协商变更合同内容，协商不成时，提前通知或额外支付工资后解除合同，并支付经济补偿。
- 依据：根据《劳动合同法》第四十条第三项。
四、法律建议
- 对用人单位：合同到期前，应评估是否续签，并提前与劳动者沟通。若不愿续签，应依法支付经济补偿，避免违法解除的风险。
- 对劳动者：合同到期时，若用人单位不愿续签或降低条件续签，有权要求经济补偿。若认为用人单位违法解除，可依法维权。
总结：合同到期后，用人单位是否可以直接说不要劳动者，取决于合同类型、续签情况、劳动者意愿及法律规定。建议双方在合同到期前充分沟通，依法处理合同终止或续签事宜。如有任何疑问或需要进一步的法律帮助，请直接向我咨询。