Estrutura de arquivos em cache usando .duckdb

[rafapereirabr]

Hoje em dia, o cache são diferentes tabelas cada uma sala num .parquet separado. Uma sugestão do @dhersz seria criar um base em .duckdb com cada uma dessas tabelas indexadas (e daí apagar os arquivos parquet). Seria uma boa fazer um teste para ver quanto essa ideia de arquitetura poderia melhorar a performance do pacote.

[rafapereirabr]

acho que essa estrategia exigiria repensar um pouco a arquitetura do pacote. Minha sugestão abaixo:

1. Por padrao, o pacote segue o padrão atual. Isto é, constroi o db as tabelas a cada call
2. Caso o usuário queria fazer um uso para produção contínuo, eu sugiro a seguinte arquitetura:
   2.1 Teríamos uma nova função criar_db_permanente() que cria um db.duckdb na pasta do cache e indexado por todas colunas chave.
   2.2 Todas as funções de geolocalização, etc teriam um novo argumento tipo usar_db_local, default to FALSE.
   • Se o usuario passar usar_db_local, a funcao checa se tem uma db permanente. Se nao tiver, dah erro. Se tiver uma db permanente, dai as funcoes de "register cnefe tables" usam as tabelas presentes na db permanente.

Na pratica, isso soh seria vantajoso para casos em que se constroi uma API, ou pipelines de geolcalizacao muito frequentes.