结论：没有强制措施的行政机关短暂地扣留手机几小时后返还给当事人，这一行为是否违法，需结合具体情况来判断，若行政机关有合法依据且程序正当，则不违法；若无合法依据或程序违法，则可能构成违法。以下从多个角度进行分析：

一、行政机关扣留手机的合法性依据

行政机关在行使职权时，必须遵循法定原则，即必须有明确的法律依据才能实施相应的行政行为。对于扣留手机这一行为，行政机关通常需要依据特定的法律法规来行使权力。例如，在调查违法行为、收集证据或防止证据灭失等情况下，行政机关可能依据《中华人民共和国治安管理处罚法》、《中华人民共和国行政处罚法》等相关法律法规的规定，对涉案物品进行扣留。

若行政机关在扣留手机时，有明确的法律依据，并且该依据与扣留手机的行为相匹配，那么这一行为在合法性上是站得住脚的。

二、扣留手机的程序正当性

除了合法性依据外，行政机关在实施扣留手机的行为时，还必须遵循正当的程序。这包括但不限于：

1. 出示证件和告知权利：行政机关在扣留手机时，应当向当事人出示执法证件，并告知其扣留的理由、依据以及享有的权利等。
2. 制作扣留清单：行政机关应当制作扣留清单，详细记录被扣留物品的名称、数量、特征等信息，并由当事人签字确认。
3. 及时返还或处理：行政机关在扣留手机后，应当在法定期限内对手机进行处理（如作为证据使用或返还给当事人）。若需返还，应当及时返还，并确保手机在扣留期间未受到损坏或丢失。

若行政机关在扣留手机时，遵循了上述正当程序，那么这一行为在程序上也是合法的。反之，若行政机关未遵循正当程序，如未出示证件、未制作扣留清单或未及时返还手机等，则可能构成程序违法。

三、扣留手机的合理性与必要性

除了合法性和程序正当性外，行政机关在扣留手机时，还需要考虑行为的合理性与必要性。这主要体现在：

1. 扣留手机是否与调查目的相关：行政机关扣留手机应当是为了调查违法行为、收集证据或防止证据灭失等目的。若扣留手机与这些目的无关，则可能缺乏合理性。
2. 扣留手机是否必要：行政机关在扣留手机前，应当评估是否有其他更温和、更有效的手段可以达到调查目的。若扣留手机并非必要手段，则可能缺乏必要性。

若行政机关在扣留手机时，能够证明其行为具有合理性与必要性，那么这一行为在合理性上也是站得住脚的。反之，若缺乏合理性与必要性，则可能构成滥用职权或不当行使权力。

四、可能存在的法律后果

若行政机关在没有合法依据或程序违法的情况下扣留手机，可能面临以下法律后果：

1. 行政复议或行政诉讼：当事人有权对行政机关的扣留行为提出行政复议或行政诉讼，要求撤销或变更该行为。
2. 国家赔偿：若行政机关的扣留行为给当事人造成了损失，当事人有权要求行政机关进行国家赔偿。

因此，行政机关在扣留手机时，必须谨慎行事，确保行为的合法性、程序正当性以及合理性与必要性。

综上所述，没有强制措施的行政机关短暂地扣留手机几小时后返还给当事人，这一行为是否违法需结合具体情况来判断。若您遇到此类情况，建议保留好相关证据，并及时向我咨询以获取更具体的法律建议。