当行政机关以“信息不存在”为由答复政府信息公开申请时，申请人可以采取以下步骤：首先，审查自身申请的信息内容描述是否明确、具体。如果描述模糊，可能导致行政机关无法查找。其次，可以向作出答复的行政机关提出质疑，要求其说明检索的过程、方法和未能查找到的原因。根据《政府信息公开条例》第三十六条第（四）项，对“经检索没有所申请公开信息的”，应当告知申请人该政府信息不存在。如果申请人对该答复不服，认为行政机关未尽到合理检索义务，或者该信息依法应当存在，可以依法申请行政复议或提起行政诉讼。在复议或诉讼中，行政机关需要对其已尽到合理检索义务以及信息确实不存在承担举证责任。如果行政机关无法证明其进行了充分、合理的检索，其“信息不存在”的答复可能被认定为违法。