通常不可以直接提起行政诉讼。根据《中华人民共和国公务员法》及相关司法解释，公务员与行政机关之间因考核、奖惩、任免等内部管理行为发生的争议，属于内部人事管理行为，一般不被纳入行政诉讼的受案范围。最高人民法院《关于适用<中华人民共和国行政诉讼法>的解释》第一条第二款第（三）项规定，行政机关对行政机关工作人员的奖惩、任免等决定，不属于人民法院行政诉讼的受案范围。公务员对考核“不称职”决定不服，正确的救济途径是依据《公务员法》第九十五条，自知道该人事处理之日起三十日内向原处理机关申请复核；对复核结果不服的，可以自接到复核决定之日起十五日内，按照规定向同级公务员主管部门或者作出该人事处理的机关的上一级机关提出申诉；也可以不经复核，直接提出申诉。对省级以下机关作出的申诉处理决定不服的，可以向作出处理决定的上一级机关再申诉。这是一种内部申诉救济渠道，而非司法诉讼。