结论前置：税务机关不给退税时，纳税人确实有权要求税务机关出具书面答复，这一要求的法律依据主要来源于《中华人民共和国税收征收管理法》及其实施细则。
具体法律依据及分析：
《中华人民共和国税收征收管理法》第八十八条：
- 该条款规定，纳税人、扣缴义务人、纳税担保人同税务机关在纳税上发生争议时，必须先依照税务机关的纳税决定缴纳或者解缴税款及滞纳金或者提供相应的担保，然后可以依法申请行政复议；对行政复议决定不服的，可以依法向人民法院起诉。
- 分析：虽然此条款直接并未明确提及要求书面答复，但它确立了纳税人对税务机关决定有异议时的救济途径。在实际操作中，为了保障纳税人的知情权，税务机关在作出不予退税等决定时，通常会以书面形式告知纳税人，以便纳税人了解决定的具体理由和依据，进而决定是否申请行政复议或提起诉讼。
《中华人民共和国税收征收管理法实施细则》第一百零二条：
- 该条款规定，税务机关送达税务文书，应当直接送交受送达人。受送达人是公民的，应当由本人直接签收；本人不在的，交其同住成年家属签收。受送达人有代理人的，可以送交其代理人签收。受送达人拒绝签收税务文书的，送达人应当在送达回证上记明拒收理由和日期，并由送达人和见证人签名或者盖章，将税务文书留在受送达人处，即视为送达。
- 分析：虽然此条款主要规定的是税务文书的送达方式，但从中可以推断出，税务机关在作出任何税务决定时，包括不予退税的决定，都应当以书面形式送达纳税人。这是保障纳税人知情权的重要一环，也是纳税人后续行使救济权利的基础。
行政程序的一般要求：
- 在行政程序中，行政机关作出对当事人不利的决定时，通常应当告知当事人决定的事实、理由和依据，并听取当事人的陈述和申辩。这一要求在税收征收管理领域同样适用。
- 分析：虽然这不是具体的法律条文，但它是行政程序法的基本原则之一。税务机关在作出不予退税的决定时，如果仅以口头形式告知纳税人，而不提供书面答复，将违反这一基本原则，损害纳税人的合法权益。
建议与行动：
- 如果您遇到税务机关不给退税且未出具书面答复的情况，您可以首先向税务机关提出书面申请，要求其出具不予退税的书面决定及理由。
- 如果税务机关拒绝出具或未在规定时间内出具，您可以考虑通过行政复议或行政诉讼等法律途径来维护自己的合法权益。
总结：税务机关在作出不予退税的决定时，应当出具书面答复，以保障纳税人的知情权。如果您遇到相关问题，可以直接向我咨询，我会为您提供专业的法律建议。