结论：行政机关未公开设置信息的单位，是否违法需分情况讨论，主要取决于该信息是否属于政府信息公开的范围以及行政机关是否履行了相应的公开义务。

分析：

1. 政府信息公开的范围：

   • 根据《中华人民共和国政府信息公开条例》的相关规定，政府信息是指行政机关在履行职责过程中制作或者获取的，以一定形式记录、保存的信息。这包括行政机关制作的信息以及从公民、法人或者其他组织获取的信息。
   • 若设置信息的单位属于行政机关在履行职责过程中应当公开的信息范畴（如行政机关的组织结构、职能、联系方式等），则该信息应当被公开。

2. 行政机关的公开义务：

   • 行政机关在公开政府信息时，应当遵循公正、公平、便民的原则，确保信息的及时、准确公开。
   • 若行政机关保存了某信息，但该信息属于应当公开的范围，而行政机关未公开设置该信息的单位，则可能构成未完全履行公开义务，存在违法之嫌。

3. 具体情形的判断：

   • 若设置信息的单位属于行政机关内部管理信息或不属于政府信息公开范围：在此情况下，行政机关未公开设置信息的单位，并不构成违法。因为内部管理信息或不属于公开范围的信息，行政机关有权选择不公开。
   • 若设置信息的单位属于政府信息公开范围：行政机关应当公开该信息，包括设置该信息的单位。若未公开，则可能违反了《中华人民共和国政府信息公开条例》的相关规定，需要承担相应的法律责任。

4. 法律后果：

   • 若行政机关未公开应当公开的信息，公民、法人或者其他组织有权向行政机关申请获取该信息。
   • 行政机关收到申请后，应当在法定期限内予以答复。若行政机关拒绝公开或者未在法定期限内答复的，公民、法人或者其他组织可以依法申请行政复议或者提起行政诉讼。

建议：

• 若您认为行政机关未公开应当公开的信息，您可以先向该行政机关提出书面申请，要求其公开相关信息。
• 若行政机关拒绝公开或者未在法定期限内答复的，您可以考虑依法申请行政复议或者提起行政诉讼，以维护自己的合法权益。

在处理此类问题时，建议您根据具体情况咨询专业律师，以便更准确地判断行政机关的行为是否违法，并采取相应的法律措施。如有任何法律问题，欢迎直接向我咨询。