结论：小儿子悄悄留了老人的遗嘱，而其他大儿子和三个女儿不在场，这一行为是否合法，取决于遗嘱的订立形式和程序是否符合法律规定。以下从不同遗嘱形式的角度进行详细分析：

1. 自书遗嘱：

   • 法律规定：根据《中华人民共和国民法典》第一千一百三十四条，自书遗嘱由遗嘱人亲笔书写，签名，注明年、月、日。
   • 分析：如果老人自己亲笔书写了遗嘱，并签名注明了日期，即使其他子女不在场，这份遗嘱在形式上也是合法的。但关键在于，必须确保遗嘱内容确实是老人的真实意愿，且没有受到任何胁迫或欺诈。

2. 代书遗嘱：

   • 法律规定：根据《中华人民共和国民法典》第一千一百三十五条，代书遗嘱应当有两个以上见证人在场见证，由其中一人代书，并由遗嘱人、代书人和其他见证人签名，注明年、月、日。
   • 分析：如果遗嘱是由他人代书的，那么必须有两个以上见证人在场见证，并且遗嘱人、代书人和其他见证人都需要签名。在这种情况下，如果其他子女不在场，但见证人符合法律规定，且遗嘱内容真实反映了老人的意愿，那么遗嘱也是合法的。然而，如果见证人不足或者见证过程存在瑕疵，遗嘱的合法性就会受到质疑。

3. 录音录像遗嘱：

   • 法律规定：根据《中华人民共和国民法典》第一千一百三十七条，以录音录像形式立的遗嘱，应当有两个以上见证人在场见证。遗嘱人和见证人应当在录音录像中记录其姓名或者肖像，以及年、月、日。
   • 分析：对于录音录像遗嘱，同样需要有两个以上见证人在场见证。如果其他子女不在场，但见证人符合法律规定，并且录音录像中清晰记录了遗嘱人和见证人的姓名或肖像以及日期，那么遗嘱也是合法的。

4. 口头遗嘱：

   • 法律规定：根据《中华人民共和国民法典》第一千一百三十八条，遗嘱人在危急情况下，可以立口头遗嘱。口头遗嘱应当有两个以上见证人在场见证。危急情况消除后，遗嘱人能够以书面或者录音录像形式立遗嘱的，所立的口头遗嘱无效。
   • 分析：口头遗嘱的合法性受到严格限制，必须在危急情况下且有两个以上见证人在场见证。如果其他子女不在场，但见证人符合法律规定，且遗嘱是在危急情况下订立的，那么口头遗嘱在形式上可能是合法的。然而，由于口头遗嘱的易变性和难以证明性，其合法性往往更容易受到质疑。

额外建议：

• 确保遗嘱真实性：无论采用哪种遗嘱形式，都必须确保遗嘱内容真实反映了老人的意愿，且没有受到任何胁迫或欺诈。
• 见证人选择：如果遗嘱需要见证人，应选择与遗嘱内容无利害关系、具有完全民事行为能力的人作为见证人。
• 法律咨询：在订立遗嘱前，建议咨询专业律师，以确保遗嘱的合法性和有效性。

可能后果：

• 如果遗嘱形式或程序不符合法律规定，其他子女可能会提出异议，导致遗嘱被认定为无效。
• 在遗嘱无效的情况下，遗产将按照法定继承顺序进行分配，这可能不符合老人的真实意愿。

如有任何疑问或需要进一步的法律帮助，请直接向我咨询。