面对口头造谣传谣且只有证人没有其他直接证据的情况，您可以按照以下步骤来维护自己的权益：
一、初步应对与证据收集
要求造谣者停止：
- 无论以书面还是口头形式，都要明确告知造谣者其行为违法，并要求其立即停止造谣传谣行为。若造谣者不停，将追究其法律责任，以此阻止谣言的进一步扩散。
收集间接证据：
- 尽管没有直接证据，但您可以收集一些间接证据来辅助维权。例如，记录谣言传播的范围、方式以及对您造成的影响，如工作受影响的材料、他人议论的记录等。
- 寻找能证明谣言存在及对您造成影响的证人，并尽量获取他们的书面证言或录音录像等证据。
二、申请协助取证
向有关部门申请协助：
- 如果自行收集证据困难，您可以向公安机关报案，请求其介入调查。公安机关有权询问相关人员、调取监控等，以查明事实真相。
- 您也可以考虑申请公证处对相关证据进行保全，增强证据的效力。
申请法院调查取证：
- 在民事诉讼中，如果因客观原因不能自行收集证据，您可以向法院提出申请，由法院向有关单位和个人调查核实证据。
三、法律途径维权
提起民事诉讼：
- 如果谣言严重损害了您的名誉，造成了精神伤害或其他实际损失，您可以向法院提起民事诉讼，要求造谣者承担停止侵害、恢复名誉、消除影响、赔礼道歉及赔偿损失等民事责任。
- 在诉讼过程中，您需要继续举证，虽然直接证据可能不足，但间接证据和证人证言也可以作为支持您主张的依据。
考虑刑事自诉：
- 如果造谣情节严重，符合诽谤罪的构成要件，您可以依法向法院提起刑事自诉，追究造谣者的刑事责任。根据《刑法》规定，以暴力或其他方法公然侮辱他人或捏造事实诽谤他人，情节严重的，处三年以下有期徒刑、拘役、管制或剥夺政治权利。
四、注意事项与建议
保持冷静与理性：
- 面对造谣传谣，保持冷静和理性至关重要。避免因冲动而采取不恰当的行动，如与造谣者发生冲突等。
及时寻求法律帮助：
- 如果您对法律程序不熟悉或感到困惑，建议及时咨询专业律师或法律机构，以获取更具体的法律建议和帮助。
加强自我保护意识：
- 在日常生活中，加强自我保护意识，避免泄露过多个人信息，减少被造谣传谣的风险。
总之，面对口头造谣传谣且只有证人没有其他直接证据的情况，您可以通过收集间接证据、申请协助取证以及采取法律途径等方式来维护自己的权益。希望这些建议能对您有所帮助。