针对您提出的“公司不续签无固定期限劳动合同且不给证明”的问题，这确实是一个涉及劳动者权益的重要事项。以下是我为您提供的详细解答，希望能帮助您更好地理解和处理这一问题。

一、明确法律规定与自身权益

首先，根据《中华人民共和国劳动合同法》的相关规定，连续订立二次固定期限劳动合同，且劳动者没有特定违规情形（如严重违反公司规章制度、不能胜任工作等）的，续订劳动合同时，劳动者有权要求签订无固定期限劳动合同。这是您的法定权益，公司不得无故拒绝。同时，公司也有义务在劳动合同终止或解除时，为劳动者出具相应的证明。

二、与公司协商解决

1. 提出诉求：您应首先尝试与公司进行友好协商，明确指出自己符合签订无固定期限劳动合同的条件，并要求公司依法签订，同时要求公司出具劳动合同终止或解除的证明。
2. 保留证据：在协商过程中，建议您保留好所有与劳动关系相关的证据，如劳动合同、工资单、考勤记录、工作邮件等，以备不时之需。

三、向劳动行政部门投诉

如果协商无果，您可以向当地的劳动行政部门（如劳动监察大队）投诉。投诉时，请提交您所保留的证据，以证明公司与您之间的劳动关系以及公司未依法签订无固定期限劳动合同且未出具证明的事实。劳动行政部门将依法进行调查处理，并保护您的合法权益。

四、申请劳动仲裁

若劳动行政部门的处理结果仍不能令您满意，或者您希望直接通过法律途径解决争议，您可以向劳动争议仲裁委员会申请仲裁。在申请仲裁前，请做好以下准备：

1. 收集证据：除了之前保留的证据外，还可以收集同事证言、公司规章制度等，以进一步证明自己的诉求。
2. 提出仲裁请求：明确要求公司与其签订无固定期限劳动合同（如果仍希望继续工作），或者要求公司支付经济补偿金（如果选择离职），并要求公司出具劳动合同终止或解除的证明。同时，根据《劳动合同法》的相关规定，您还可以要求公司支付从应当签订无固定期限劳动合同之日起至实际解决之日止的双倍工资差额（如果适用）。
3. 参加仲裁庭审：在庭审过程中，充分陈述自己的诉求和理由，出示相关证据，并对公司的答辩意见和证据进行质证。

五、提起诉讼

如果您对劳动仲裁的结果不满意，可以在收到仲裁裁决书之日起十五日内向人民法院提起诉讼。诉讼过程中，您需要重新整理和补充证据，以支持自己的诉求。由于诉讼过程较为复杂，建议您寻求专业律师的帮助。

六、注意事项

在整个维权过程中，您应注意以下几点：

1. 保留证据：确保所有与劳动关系及争议相关的证据都得到妥善保管。
2. 及时行使权利：注意仲裁时效和诉讼时效的规定，避免因超过时效而丧失维权机会。
3. 保持冷静与理性：通过合法、合理的途径解决问题，避免采取过激行为或言论。

综上所述，如果公司不续签无固定期限劳动合同且不给证明，您可以通过了解法律规定、与公司协商、向劳动行政部门投诉、申请劳动仲裁或提起诉讼等途径来维护自己的合法权益。在整个过程中，请务必保留好相关证据，及时行使权利，并保持冷静与理性。希望这些建议能对您有所帮助。