结论前置：是否构成诈骗，需根据具体情况判断，主要看行为人是否具有非法占有的目的。

1. 若行为人主观上具有非法占有的目的：

   • 行为人忘记将退给单位的公款退回，若此行为背后隐藏着非法占有该笔公款的意图，即行为人明知应退还而故意不退还，意图将公款据为己有，那么此行为可能构成诈骗。因为诈骗罪要求行为人主观上具有非法占有的目的，客观上实施了欺骗行为（在此情境下，欺骗行为可能表现为隐瞒已收到公款的事实或虚构未收到公款的理由），使单位产生错误认识（即认为公款未收到或无需退还），并基于这种错误认识未采取进一步措施追讨公款，从而导致单位遭受财产损失。
   • 法律依据：根据《中华人民共和国刑法》第二百六十六条，诈骗公私财物，数额较大的，构成诈骗罪。若忘记退还的公款数额达到法定标准（如三千元至一万元以上，具体标准可能因地区而异），则可能构成诈骗罪。

2. 若行为人主观上无非法占有的目的：

   • 如果行为人忘记退还公款是出于疏忽或过失，而非故意非法占有，那么此行为通常不构成诈骗。因为诈骗罪要求行为人主观上具有非法占有的目的，而疏忽或过失并不符合这一要件。
   • 举例说明：假设行为人因工作繁忙或个人原因暂时忘记了退还公款，但在单位提醒或自行发现后，立即采取了补救措施（如尽快退还公款），那么此行为就不应被视为诈骗。

建议与后果：

• 如果您发现自己忘记了退还公款，应尽快与单位沟通并退还公款，以避免可能的法律纠纷。
• 如果单位已经发现并提出了质疑，您应积极配合调查，提供相关证据证明自己无非法占有的目的，以维护自己的合法权益。
• 若行为被认定为诈骗，将可能面临刑事处罚，包括有期徒刑、拘役或管制，并处或单处罚金。具体处罚将根据诈骗数额、情节严重程度等因素综合判定。

进一步思考：

• 在处理此类问题时，应充分考虑行为人的主观意图和客观行为，以及这些行为对单位财产造成的影响。
• 如果您对此类问题存在疑问或需要进一步的法律帮助，可以直接向我咨询，我将根据您的具体情况提供专业的法律意见。