Os chatbots com IA se tornaram uma ferramenta essencial para empresas e organiza\u00e7\u00f5es. Mas a maioria das solu\u00e7\u00f5es de chatbot depende de modelos baseados em nuvem que introduzem lat\u00eancia, limita\u00e7\u00f5es de API e, talvez o mais importante, preocupa\u00e7\u00f5es com a privacidade. E se voc\u00ea pudesse executar um chatbot de IA inteiramente em sua m\u00e1quina e ainda manter o hist\u00f3rico de conversas com uma plataforma de dados com todos os recursos?<\/p>\n
Nesta postagem, vamos configurar um chatbot de IA auto-hospedado usando o Docker Model Runner, um novo recurso do Docker que permite executar modelos em cont\u00eaineres localmente para infer\u00eancia e muito mais, e o Couchbase Capella para armazenar, recuperar e pesquisar conversas. O resultado \u00e9 um chatbot r\u00e1pido, privado e flex\u00edvel que voc\u00ea controla.<\/p>\n
Pronto para come\u00e7ar? Vamos l\u00e1!<\/p>\n
Primeiro, vamos garantir que sua vers\u00e3o do Docker Desktop e da CLI esteja atualizada para que voc\u00ea tenha o recurso Model Runner dispon\u00edvel. Para fazer isso, execute Depois de fazer isso, voc\u00ea usar\u00e1 o Docker Model Runner para extrair a imagem do cont\u00eainer com o modelo Llama 3.2 e disponibiliz\u00e1-la localmente:<\/p>\n Voc\u00ea pode verificar se o download do modelo Llama 3.2 foi bem-sucedido executando Quer test\u00e1-lo? Abrir o modelo no modo interativo \u00e9 muito f\u00e1cil! Basta executar \n Agora que voc\u00ea fez o download do Llama 3.2 e est\u00e1 pronto para us\u00e1-lo, \u00e9 hora de criar um aplicativo de back-end simples que aproveite o modelo para um chatbot de IA auto-hospedado.<\/p>\n O aplicativo que voc\u00ea criar\u00e1 realizar\u00e1 as seguintes tarefas:<\/p>\n Seu aplicativo ter\u00e1 todos os recursos e estar\u00e1 pronto para ser usado imediatamente a partir do seu console como um robusto chatbot alimentado por IA. O c\u00f3digo que criamos juntos aqui fornecer\u00e1 a base para refator\u00e1-lo de acordo com as necessidades que voc\u00ea tiver. Talvez voc\u00ea queira transform\u00e1-lo em um backend para um aplicativo da Web. Algumas modifica\u00e7\u00f5es ser\u00e3o tudo o que \u00e9 necess\u00e1rio para tornar isso poss\u00edvel.<\/p>\n O aplicativo requer algumas depend\u00eancias, portanto, no diret\u00f3rio do projeto, execute Certifique-se de ter configurado um bucket no Capella para armazenar os dados do bate-papo e de ter suas credenciais do Capella em m\u00e3os. Como sempre, n\u00e3o salve suas credenciais em nenhum controle de vers\u00e3o. Use vari\u00e1veis de ambiente para o desenvolvimento local para manter suas credenciais seguras e n\u00e3o em m\u00e3os p\u00fablicas.\u00a0<\/p>\n Estamos criando quatro fun\u00e7\u00f5es em nosso aplicativo:<\/p>\n Vamos come\u00e7ar com o Como voc\u00ea pode ver, introduzimos uma funcionalidade constru\u00edda sobre o armazenamento de dados do Capella, ou seja, a capacidade de recuperar o hist\u00f3rico de bate-papo anterior dentro do pr\u00f3prio bate-papo. Isso pode ser \u00fatil para que um usu\u00e1rio recupere o contexto do bate-papo sempre que iniciar uma nova sess\u00e3o.<\/p>\n Agora que temos o Em seguida, o Por fim, o Quando terminar de usar as fun\u00e7\u00f5es, certifique-se de adicionar Por fim, n\u00e3o se esque\u00e7a de adicionar uma linha no final do script que chame a fun\u00e7\u00e3o Quando terminar, voc\u00ea ter\u00e1 um chatbot de IA totalmente pronto, hospedado em sua pr\u00f3pria m\u00e1quina, mantendo sua privacidade e, ao mesmo tempo, aproveitando o Capella para armazenamento e recupera\u00e7\u00e3o.<\/p>\n Seu pr\u00f3prio chatbot est\u00e1 pronto para ser usado! Toda consulta que voc\u00ea enviar ser\u00e1 processada apenas localmente em sua m\u00e1quina usando o modelo Llama 3.2. Nada ser\u00e1 enviado a nenhum provedor de IA remotamente.<\/p>\n Se voc\u00ea estiver pronto para experiment\u00e1-lo, execute o seguinte:<\/p>\n \n Depois de execut\u00e1-lo, voc\u00ea ver\u00e1 o seguinte:<\/p>\n \n V\u00e1 em frente e comece a fazer perguntas e a interagir com ele. Aqui est\u00e1 um breve exemplo do que voc\u00ea pode esperar ver:<\/p>\n Ao usar a escalabilidade e a seguran\u00e7a do Couchbase Capella junto com a abordagem de privacidade do Docker Model Runner para executar modelos de IA localmente, voc\u00ea pode criar aplicativos din\u00e2micos de IA que priorizam a privacidade do usu\u00e1rio. A execu\u00e7\u00e3o de modelos em sua pr\u00f3pria m\u00e1quina tamb\u00e9m oferece infer\u00eancia mais r\u00e1pida, controle total sobre a personaliza\u00e7\u00e3o de prompts, a capacidade de armazenar metadados adicionais e a flexibilidade para ajustar o comportamento do seu chatbot, tudo em seu pr\u00f3prio ambiente.<\/p>\n Essa combina\u00e7\u00e3o do Capella e do Docker Model Runner oferece velocidade, controle e a privacidade necess\u00e1ria para criar aplicativos de IA sem depender de APIs externas. Seja para criar um chatbot, analisar dados ou executar fluxos de trabalho com tecnologia de IA, essa configura\u00e7\u00e3o garante que tudo o que voc\u00ea criar ser\u00e1 eficiente, dimension\u00e1vel e totalmente sob seu controle. <\/p>\n A \u00fanica pergunta \u00e9: o que voc\u00ea vai construir?<\/p>\nStatus do modelo da janela de encaixe<\/code> em seu terminal. Se for bem-sucedido, voc\u00ea ver\u00e1 uma mensagem de sucesso que diz O Docker Model Runner est\u00e1 em execu\u00e7\u00e3o<\/code>. Se n\u00e3o tiver, voc\u00ea precisar\u00e1 primeiro obter a vers\u00e3o mais recente do Docker e instal\u00e1-la. Depois de atualizar o Docker, voc\u00ea pode executar esse comando novamente e ele dever\u00e1 funcionar.<\/p>\ndocker model pull ai\/llama3.3<\/code>\n<\/p>\nlista de modelos da plataforma<\/code> e voc\u00ea ver\u00e1 o modelo dispon\u00edvel para uso:<\/p>\n{\"object\":\"list\",\"data\":[{\"id\":\"ai\/llama3.3\",\"object\":\"model\",\"created\":1741794281,\"owned_by\":\"docker\"}]}<\/code>\n<\/p>\nexecu\u00e7\u00e3o do modelo da plataforma ai\/llama3.3<\/code> na linha de comando e voc\u00ea entrar\u00e1 no modo interativo:<\/p>\nModo de bate-papo interativo iniciado. Digite '\/bye' para sair.
\n<\/code>><\/code><\/p>\nCria\u00e7\u00e3o do chatbot<\/h2>\n
\n
\n
execu\u00e7\u00e3o do modelo da plataforma<\/code>\u00a0Comando da CLI<\/li>\nnpm install couchbase readline-sync<\/code>. Usamos o SDK do Couchbase Node.js para interagir com nosso armazenamento de dados do Couchbase Capella, e usamos sincroniza\u00e7\u00e3o de linha de leitura<\/code> para que o aplicativo interaja com o usu\u00e1rio a partir do terminal.<\/p>\n\n
\n
askAI<\/code> para encapsular o processo de alimenta\u00e7\u00e3o da mensagem ao nosso modelo de IA executado localmente<\/li>\nlojaChat<\/code> para enviar o hist\u00f3rico do bate-papo para a Capella<\/li>\nfetchChatHistory<\/code> para recuperar chats de bate-papo<\/li>\nprincipal<\/code> para atuar como a interface principal do aplicativo<\/li>\n<\/ul>\n<\/li>\n<\/ul>\nprincipal<\/code> que envolver\u00e1 todo o resto. Essa fun\u00e7\u00e3o criar\u00e1 um loop do qual o usu\u00e1rio poder\u00e1 sair a qualquer momento, oferecendo uma experi\u00eancia de bate-papo cont\u00ednua:<\/p>\nasync function main() {\r\n\u00a0const { cluster, collection } = await connectToCouchbase();\r\n\r\n\u00a0\u00a0console.log(\"Self-Hosted AI Chatbot (Llama 3.2 + Capella)\");\r\n\u00a0\u00a0console.log(\"Type your message below. Type 'history' to view past chats or 'exit' to quit.\\n\");\r\n\r\n\u00a0\u00a0while (true) {\r\n\u00a0\u00a0\u00a0\u00a0const userMessage = readlineSync.question(\"> \");\r\n\r\n\u00a0\u00a0\u00a0\u00a0if (userMessage.toLowerCase() === \"exit\") {\r\n\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0console.log(\"Goodbye!\");\r\n\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0break;\r\n\u00a0\u00a0\u00a0\u00a0}\r\n\r\n\u00a0\u00a0\u00a0\u00a0if (userMessage.toLowerCase() === \"history\") {\r\n\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0const history = await fetchChatHistory(cluster);\r\n\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0console.log(\"\\n\ud83d\udcdc Chat History:\");\r\n\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0history.forEach((chat) => {\r\n\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0console.log(`\ud83e\uddd1 ${chat.user}\\n\ud83e\udd16 ${chat.response}\\n`);\r\n\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0});\r\n\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0continue;\r\n\u00a0\u00a0\u00a0\u00a0}\r\n\r\n\u00a0\u00a0\u00a0\u00a0console.log(\"\ud83e\udd16 Thinking...\");\r\n\u00a0\u00a0\u00a0\u00a0const aiResponse = await askAI(userMessage);\r\n\u00a0\u00a0\u00a0\u00a0console.log(`\ud83e\udd16 ${aiResponse}\\n`);\r\n\r\n\u00a0\u00a0\u00a0\u00a0await storeChat(collection, userMessage, aiResponse);\r\n\u00a0\u00a0}\r\n}<\/pre>\nprincipal<\/code> vamos criar as fun\u00e7\u00f5es de suporte que ela invoca, come\u00e7ando com a fun\u00e7\u00e3o askAI<\/code> fun\u00e7\u00e3o:<\/p>\nfun\u00e7\u00e3o ass\u00edncrona askAI(prompt) {\r\n return new Promise((resolve, reject) => {\r\n exec(\r\n `docker model run ai\/llama3.3 \"${prompt}\"`,\r\n (error, stdout, stderr) => {\r\n if (error) {\r\n console.error(`Erro ao executar o modelo: ${error.message}`);\r\n reject(error);\r\n }\r\n if (stderr) {\r\n console.error(`Docker stderr: ${stderr}`);\r\n }\r\n resolve(stdout.trim()); \/\/ Retorna a resposta do IA\r\n }\r\n );\r\n });\r\n}<\/pre>\nlojaChat<\/code> fun\u00e7\u00e3o:<\/p>\nfun\u00e7\u00e3o ass\u00edncrona storeChat(collection, userMessage, aiResponse) {\r\n const chatDoc = {\r\n user: userMessage,\r\n response: aiResponse,\r\n timestamp: new Date().toISOString(),\r\n };\r\n\r\n await collection.upsert(`chat_${Date.now()}`, chatDoc);\r\n}<\/pre>\nfetchChatHistory<\/code> fun\u00e7\u00e3o:<\/p>\nasync function fetchChatHistory(cluster, limit = 5) {\r\n\u00a0\u00a0const query = `\r\n\u00a0\u00a0\u00a0\u00a0SELECT user, response, timestamp FROM \\`chatbot\\`\r\n\u00a0\u00a0\u00a0\u00a0ORDER BY timestamp DESC\r\n\u00a0\u00a0\u00a0\u00a0LIMIT ${limit};\r\n\u00a0\u00a0`;\r\n\u00a0\u00a0const result = await cluster.query(query);\r\n\u00a0\u00a0return result.rows;\r\n}<\/pre>\nexigir<\/code> na parte superior do arquivo e para criar uma conex\u00e3o com o cluster do Couchbase Capella:<\/p>\nconst { exec } = require(\"child_process\");\r\nconst readlineSync = require(\"readline-sync\");\r\nconst couchbase = require(\"couchbase\");\r\nrequire(\"dotenv\").config();\r\n\r\nfun\u00e7\u00e3o async connectToCouchbase() {\r\n try {\r\n const cluster = await couchbase.connect(COUCHBASE_URL, {\r\n nome de usu\u00e1rio: COUCHBASE_USERNAME,\r\n senha: COUCHBASE_PASSWORD,\r\n });\r\n const bucket = cluster.bucket(\"chatbot\");\r\n const collection = bucket.defaultCollection();\r\n console.log(\"Conectado ao Couchbase Capella\");\r\n return { cluster, collection };\r\n } catch (err) {\r\n console.error(\"Falha ao conectar-se ao Couchbase:\", err);\r\n process.exit(1);\r\n }\r\n}<\/pre>\nprincipal<\/code> inserindo a fun\u00e7\u00e3o principal();<\/code> na \u00faltima linha.<\/p>\nUsando seu chatbot de IA auto-hospedado
\n<\/h2>\nnode index.js # ou o nome que voc\u00ea deu ao seu arquivo<\/code>\n<\/p>\nConectado ao Couchbase Capella<\/code><\/p>\nChatbot de IA auto-hospedado (Llama 3.2 + Capella)<\/code><\/p>\nDigite sua mensagem abaixo. Digite \"history\" para ver os bate-papos anteriores ou \"exit\" para sair.<\/code><\/p>\n><\/code>\n<\/p>\nConnected to Couchbase Capella\r\n\r\n\ud83d\ude80 Self-Hosted AI Chatbot (Llama 3.2 + Capella)\r\nType your message below. Type 'history' to view past chats or 'exit' to quit.\r\n\r\n> Should I pack a raincoat for Barcelona for a trip there at the end of March? Answer only with \"yes\" or \"no\".\r\n\ud83e\udd16 Thinking...\r\n\ud83e\udd16 Yes.\r\n\r\n> Tell me why I should pack a raincoat for Barcelona at the end of March. Limit your answer to 15 words or less.\r\n\ud83e\udd16 Thinking...\r\n\ud83e\udd16 You may need a raincoat as March weather in Barcelona can be unpredictable and rainy, up to 10C.\r\n\r\n> exit\r\n\ud83d\udc4b Goodbye!<\/pre>\n