结论：辞职时忘记要回借调期间办理的饭卡，一般情况下风险较小，但仍需关注饭卡内余额处理、饭卡使用权限以及单位规章制度等潜在风险点。以下是对这些风险点的详细分析：

1. 饭卡内余额处理：

   • 风险：如果饭卡内还有余额，且单位或借调单位未提供明确的余额退还机制，您可能会面临余额损失的风险。
   • 建议：在辞职前，主动与单位或借调单位的人事或财务部门联系，了解饭卡余额的处理方式，并尽量在离职前办理余额退还手续。

2. 饭卡使用权限：

   • 风险：虽然您已辞职，但如果饭卡未被及时注销或回收，理论上仍可能被他人使用（如捡到饭卡的人），这可能导致单位或借调单位的经济损失，并可能间接给您带来不必要的麻烦（如被误认为仍在单位工作或涉及不当行为）。
   • 建议：向单位或借调单位明确说明饭卡未归还的情况，并请求他们尽快注销或回收饭卡，以避免潜在的使用风险。

3. 单位规章制度：

   • 风险：某些单位可能有明确的规章制度，要求员工在离职时归还所有单位财产，包括饭卡等。如果未遵守这些规定，可能会影响您的离职手续办理或未来与该单位的合作。
   • 建议：查阅单位或借调单位的规章制度，了解关于离职时财产归还的具体要求，并尽量遵守。如果确实无法及时归还饭卡，应与单位沟通并说明情况，寻求妥善解决方案。

4. 法律层面：

   • 分析：从法律角度来看，饭卡本身通常不具有直接的经济价值（除非卡内余额未退还），且其丢失或未归还一般不构成违法行为。然而，如果饭卡被他人恶意使用并导致单位或借调单位遭受损失，且您未尽到合理的注意义务（如未及时通知单位注销饭卡），您可能在一定程度上承担民事责任（如赔偿损失）。但这种情况较为罕见，且需具体证据支持。
   • 建议：保持与单位或借调单位的沟通，及时告知饭卡未归还的情况，并配合他们采取必要的措施（如注销饭卡）以降低潜在风险。

总结与进一步行动：

• 总体上，辞职时忘记要回饭卡的风险相对较小，但仍需关注上述潜在风险点。
• 建议您尽快与单位或借调单位联系，了解饭卡余额的处理方式，并请求他们注销或回收饭卡。
• 如果您对单位或借调单位的处理方式有疑问或担忧，或者遇到任何法律问题，都可以直接向我咨询，我会根据您的具体情况提供专业的法律建议。