行政机关的规范性文件（俗称“红头文件”）不能直接作为行政处罚的“依据”。根据《中华人民共和国行政处罚法》第十六条的规定，除法律、法规、规章外，其他规范性文件不得设定行政处罚。同时，该法第四条规定，行政处罚必须有法定依据。这里的“法定依据”主要指法律、行政法规、地方性法规和规章。规范性文件可以在上位法规定的给予行政处罚的行为、种类和幅度的范围内作出具体规定，用于解释和细化上位法，但其本身不能创设新的处罚种类、行为或幅度。行政机关在作出处罚决定时，应当在法律文书中引用法律、法规或规章的条文作为直接依据，可以同时指出所依据的规范性文件对上位法的具体化内容，但不能仅以规范性文件作为处罚的唯一依据。