O CARF é formado por três seções de julgamento, as quais são compostas, cada uma, por quatro câmaras, divididas em turmas ordinárias e turmas especiais. Cada turma conta com seis conselheiros, sendo três representantes da Fazenda Nacional e três dos contribuintes. Atualmente há no Conselho, ao todo, 36 turmas julgadoras, perfazendo um total de 216 conselheiros.
À 1ª seção, compete o julgamento de recursos que tratam de questões referentes a Imposto de Renda de Pessoa Jurídica e Retido na Fonte; de Contribuição Social sobre Lucro Líquido; tributos, empréstimos compulsórios e matéria correlata não incluídos na competência julgadora das demais seções; penalidades pelo descumprimento de obrigações acessórias pelas pessoas jurídicas, relativamente aos tributos de que trata o colegiado.
A 2ª seção julga matérias ligadas a Imposto de Renda de Pessoa Física, Imposto de Renda Retido na Fonte; Imposto Territorial Rural; contribuições previdenciárias; penalidades pelo descumprimento de obrigações acessórias pelas pessoas físicas e jurídicas, relativamente aos tributos de que trata o colegiado.
A 3ª seção, por sua vez, questões referentes a contribuição para o PIS/Pasep e contribuição para o Cofins; contribuição para o Fundo de Investimento Social; Imposto sobre Produtos Industrializados; Contribuição Provisória sobre Movimentação Financeira; Imposto Provisório sobre a Movimentação Financeira; Imposto sobre Operações de Crédito, Câmbio e Seguro e sobre Operações relativas a Títulos e Valores Mobiliários; Contribuições de Intervenção no Domínio Econômico; Imposto sobre a Importação; Imposto sobre a Exportação.
Na competência das seções, incluem-se os recursos interpostos em processos administrativos de compensação, ressarcimento, restituição e reembolso, bem como de reconhecimento de isenção ou de imunidade tributária.
A competência das turmas especiais, no caso, é restrita ao julgamento de recursos em processos que envolvam valores reduzidos. Caso haja recurso contra as decisões das câmaras e turmas julgadoras, as Câmaras Superiores de Recursos Fiscais são responsáveis por julgar o recurso especial.