Правильно без -s. Ибо это устойчивое сочетание. Об этом знают, видимо, только те, у кого уровень C2 настоящий, а не фейковый, так как сплошь и рядом учителя английского (!) почему-то пишут и говорят с -s.
Ещё тонкий нюанс: смысл этой фразы. Она в том, что вы отказываетесь высказываться по заданному вам вопросу, ибо "не вопрошающего это ума дело, что вы по этому вопросу думаете". Этот смысл сильно отличается от смысла русской фразы "без комментариев" = "это настолько из ряда вон, что слов нет" - с таким смыслом эту английскую фразу использовать не надо.
Ошибка того же плана, что и в статье о том, что не так со словом "hometask".