Importar CNAEs através da API do IBGE

[endersonmaia]

Vi que o arquivo cnae.py faz scraping na página do IBGE.

Existe uma API do IBGE para os CNAEs que certamente será bem mais simples e rápido de buscar.

https://servicodados.ibge.gov.br/api/docs/cnae?versao=2#api-Classes-classesGet

[endersonmaia]

fiz um script com curl, jq e sqlite: https://github.com/endersonmaia/ibge-cnae-sql

[RobsonBranco]

Onde está o ./run-cnae.sh ?

[endersonmaia]

A documentação faz referência a este arquivo, mas ele não existe no repositório, talvez seja o `cnae.py`.

[turicas]

Vi que o arquivo cnae.py faz scraping na página do IBGE.

Existe uma API do IBGE para os CNAEs que certamente será bem mais simples e rápido de buscar.

https://servicodados.ibge.gov.br/api/docs/cnae?versao=2#api-Classes-classesGet

Muito bom! Acho que podemos transformar o spider atual em um que pega apenas desse endpoint na API do IBGE e faz as conversões necessárias.
Você sabe me dizer se na API tem todas as versões do CNAE? Na base de dados da Receita Federal existem CNAEs de todas as versões e, para isso, precisamos de todas (o script que faz scraping pega de todas as disponíveis).

[endersonmaia]

Você sabe me dizer se na API tem todas as versões do CNAE?

A documentação faz referência à versào 2.0 de 2007.

• https://servicodados.ibge.gov.br/api/docs/cnae?versao=2
• https://cnae.ibge.gov.br/images/concla/documentacao/CNAE20_Introducao.pdf

Exceptuando as subclasses, que estão na versão 2.2, a presente versão 2.0, resultante da revisão 2007, substituiu a 1.0. Essa versão é uma classificação organizada de forma hierárquica com cinco níveis, 21 seções, 87 divisões, 285 grupos, 673 classes e 1301 subclasses. As subclasses são definidas para uso da Administração Pública.