在行政机关的执法或司法程序中，关于是否需要穷尽所有的送达方式，这并非一个绝对化的要求，而是需要根据具体情况，结合法律规定和程序正义的原则来综合判断。

首先，我们要明确的是，送达是确保当事人知晓并参与程序、保障其合法权益的重要环节。无论是行政机关还是司法机关，都有责任和义务采取合理、有效的方式将相关文书送达给当事人。这既是对当事人权利的尊重，也是程序公正和效率的体现。

然而，在实际操作中，并不意味着必须穷尽所有可能的送达方式。因为不同的送达方式有其适用的场景和限制，而且有些方式可能并不适合所有情况。例如，在某些紧急情况下，直接送达或电子送达可能更为迅速有效；而在当事人下落不明或无法联系的情况下，公告送达则可能成为必要的选择。

以古丈县人民法院的案例为例，他们在处理一起离婚纠纷案件时，就充分展现了在送达过程中的灵活性和对程序正义的坚守。他们首先尝试了电话联系和邮寄送达，但均未能成功。在原告请求公告送达时，他们并没有立即采用这种方式，而是进一步调查被告的可能去向，并最终通过前往被告务工地点的方式成功送达了相关诉讼文书。这一过程充分体现了法院在送达过程中的尽职尽责和对当事人权益的充分保障。

对于行政机关而言，同样需要遵循类似的原则。在送达相关行政文书时，行政机关应当根据具体情况选择合适的送达方式，并尽可能确保送达的有效性。如果一种送达方式无法成功，应当及时尝试其他方式，而不是直接放弃或采用可能损害当事人权益的方式。

总的来说，虽然并不要求行政机关或司法机关穷尽所有的送达方式，但它们有责任和义务采取合理、有效的方式确保送达的成功，以保障当事人的合法权益和程序的公正性。在实际操作中，这需要根据具体情况进行灵活判断和选择。