Por que a tecnologia de banco de dados é importante

[Este blog foi distribuído pelo site http://damienkatz.net/].

Às vezes, fico tão envolvido com a tecnologia de banco de dados que esqueço por que os bancos de dados são tão fascinantes para mim, por que os considerei tão importantes para começar. ACID. Latência, largura de banda, durabilidade, desempenho, escalabilidade, bits e bytes. Virtual isso, nuvem aquilo. Blá blá blá. Quem se importa com isso?

Eu me importo.

Meu Deus, eu me importo. Eu me importo tanto que chega a doer.

"Um banco de dados é uma coleção organizada de dados, hoje normalmente em formato digital." -Wikipedia

Penso muito em bancos de dados. Muito mesmo. Novos esquemas para expandir sua capacidade, novas maneiras de fazê-los funcionar, novas maneiras de torná-los mais rápidos, mais confiáveis, novas maneiras de torná-los acessíveis a mais desenvolvedores e usuários.

Passo tanto tempo pensando nelas que chega a ser constrangedor. Por mais tempo que eu passe pensando neles, sinto que deveria saber muito mais do que sei.

HTTP, JSON, memcached, clusters elásticos, acessibilidade do desenvolvedor, mapa/redução incremental, indexação distribuída, replicação intra-cluster, replicação entre clusters, armazenamento geracional tail-append, fragmentação de disco, fragmentação de memória, hierarquia de memória/armazenamento, latência de disco, amplificação de gravação, compactação de dados, vários núcleos, vários threading, índices invertidos, análise de linguagem, tempos de execução de interpretador, passagem de mensagens, memória compartilhada, arquiteturas orientadas à recuperação. Todas as coisas que fazem um banco de dados funcionar.

Por que estou gastando tanto tempo com isso? Por que passei tantos anos com eles?
Por que eles me fascinam tanto? Por que larguei meu emprego e criei um mecanismo de banco de dados de código aberto com meu próprio dinheiro, quando não era rico e tinha uma família para sustentar?

Por que diabos eu fiz isso?

A importância da tecnologia de banco de dados não pode ser exagerada, pois acho que as tecnologias de banco de dados estão entre os avanços mais fundamentais da humanidade e de nossa consciência coletiva. Acredito que os bancos de dados são tão importantes quanto as telecomunicações e a Internet. Acho que são tão importantes quanto qualquer biblioteca acadêmica - e que as bibliotecas são os primeiros bancos de dados não digitais. Acho que os bancos de dados são quase tão importantes quanto a invenção da palavra escrita.

Esqueça o SQL. Esqueça os bancos de dados de rede, de documentos ou de objetos. Esqueça a álgebra relacional. Esqueça os esquemas. Esqueça as uniões e a normalização. Esqueça o ACID. Esqueça o Map/Reduce.

Pense na representação do conhecimento. Pense em coleta, transformação, agregação e compartilhamento de conhecimento. Pense em descoberta de conhecimento.

Pense na humanidade e em sua mente coletiva se expandindo.

Quando a IBM estava no auge absoluto de seu poder, ela era a empresa mais rica e poderosa do planeta. Ela vendia principalmente mainframes por muito dinheiro e, no centro desses mainframes, havia grandes mecanismos de banco de dados, proporcionando uma grande vantagem competitiva pela qual seus clientes pagavam de bom grado.

O Google criou um indexação de banco de dados da Internet. Eles são fortes porque encontraram maneiras de encontrar significado nas enormes quantidades de informações já disponíveis. Eles são um exemplo muito visível de mudança na forma de pensar da humanidade.

Os sistemas de arquivos são bancos de dados muito simples. Há muitos anos, as pessoas vêm desenvolvendo todos os tipos de tecnologia de pesquisa e agregação sobre eles, a fim de desbloquear melhor todo o conhecimento e as informações armazenados neles.

E-mail? A tecnologia de e-mail é basicamente um banco de dados para o qual você pode enviar mensagens. É antiquado e simples, mas nossos sistemas de e-mail estão cada vez mais inteligentes em relação às maneiras de nos mostrar o que há em nossos bancos de dados pessoais não estruturados.

Os bancos de dados não precisam ser enormes para causar um grande impacto. O SQLite torna os bancos de dados acessíveis em dispositivos pequenos. É o banco de dados mais implantado do planeta. Muitas vezes é fácil não perceber o impacto quando se trata de bilhões de pequenas instalações, que começam a parecer ar. Algo que simplesmente está lá, ao nosso redor. Mas se somarmos tudo, o impacto é enorme.

E, claro, a grande e má Oracle. Por mais que as pessoas gostem de odiá-los, o mais importante é que eles tornaram a tecnologia de banco de dados confiável muito acessível, algo em que você pode apostar seus negócios, ano após ano. Eles são ótimos não apenas em fazer a tecnologia funcionar, mas também o ecossistema completo em torno dela, algo necessário para empresas e usos de missão crítica. Há muito o que criticar sobre eles, mas também há muito o que elogiar.

Então, sim, eu me importo. Eu me importo profundamente. Eu me preocupo com o panorama geral. E me preocupo com os bits e bytes. Eu me importo com os detalhes ridiculamente complexos que a maioria das pessoas nunca verá. Eu me importo com as coisas chatas que fazem as coisas maiores acontecerem. E, às vezes, esqueço por que me preocupo com isso. Às vezes, perco de vista o panorama geral por estar tão concentrado em fazer os detalhes funcionarem.

E, às vezes, eu me lembro. E me sinto incrivelmente sortudo e privilegiado pelas oportunidades de causar um impacto positivo na mente coletiva da humanidade. E minha recompensa é saber, de alguma forma, que fui bem-sucedido. E quero fazer mais. Isso é importante, a maneira mais importante e eficaz que conheço de contribuir para o mundo. Isso é importante para mim.