结论：一般情况下，公司不可以随意终止与已签无固定期限劳动合同且未领养老金员工的合同；但在符合法定情形时，公司可以依法终止合同。 具体分析如下：
一、无固定期限劳动合同的特点
无固定期限劳动合同，是指用人单位与劳动者约定无确定终止时间的劳动合同。这种合同强调的是劳动合同的长期性和稳定性，只要没有出现法律规定的条件或者双方约定的条件，双方当事人就要继续履行劳动合同规定的义务。
二、公司不能随意终止合同的情况
根据《中华人民共和国劳动合同法》的规定，在劳动者没有出现法定过错（如严重违反用人单位的规章制度、严重失职给用人单位造成重大损害、被依法追究刑事责任等）以及其他法定可以解除劳动合同的情形（如劳动者不能胜任工作，经过培训或者调整工作岗位，仍不能胜任工作等）时，公司不能随意终止与已签无固定期限劳动合同且未领养老金员工的合同。如果公司违法终止劳动合同，劳动者有权要求公司继续履行劳动合同，或者要求公司按照经济补偿标准的二倍支付赔偿金。
三、公司可以依法终止合同的情况
- 劳动者开始依法享受基本养老保险待遇的：虽然您提到员工还没领养老金，但如果员工已经达到法定退休年龄，且符合享受基本养老保险待遇的条件，只是由于某些原因尚未开始领取，此时公司可以终止劳动合同。不过，如果员工达到法定退休年龄但不符合享受基本养老保险待遇的条件（如缴费年限不足等），且员工愿意继续工作，公司一般不能仅因达到退休年龄而终止合同。
- 劳动合同期满的：虽然无固定期限劳动合同没有确定的终止时间，但如果双方在合同中约定了以完成一定工作任务为期限等特殊情形，当工作任务完成时，劳动合同终止。不过，这种情况在无固定期限劳动合同中较为少见。
- 公司依法宣告破产、被吊销营业执照、责令关闭、撤销或者公司决定提前解散的：在这些情况下，公司的主体资格将消灭，劳动合同自然终止。但公司需要按照法律规定向劳动者支付经济补偿。
- 法律、行政法规规定的其他情形：如劳动者死亡，或者被人民法院宣告死亡或者宣告失踪的，劳动合同终止。
四、建议
- 对于员工：如果您与公司就合同终止问题产生争议，建议先与公司协商解决；协商不成的，可以向当地劳动争议仲裁委员会申请仲裁，对仲裁裁决不服的，还可以向人民法院提起诉讼。同时，要注意保留好相关证据，如劳动合同、工资支付记录、工作证明等。
- 对于公司：在终止与员工的劳动合同时，一定要确保符合法律规定的条件和程序，避免违法终止合同带来的法律风险。如果对相关法律规定不熟悉，建议咨询专业法律人士。