{"id":15671,"date":"2024-05-07T08:05:04","date_gmt":"2024-05-07T15:05:04","guid":{"rendered":"https:\/\/www.couchbase.com\/blog\/?p=15671"},"modified":"2025-06-13T20:27:16","modified_gmt":"2025-06-14T03:27:16","slug":"twitter-thread-tldr-with-ai-part-1","status":"publish","type":"post","link":"https:\/\/www.couchbase.com\/blog\/pt\/twitter-thread-tldr-with-ai-part-1\/","title":{"rendered":"Twitter Thread tl;dr Com IA? Parte 1"},"content":{"rendered":"
\n
\n

Porque quem tem tempo? (tamb\u00e9m parte 1 porque me levou mais longe do que eu esperava \ud83d\ude2c)<\/h2>\n<\/div>\n

O Couchbase apresentou recentemente suporte para pesquisa vetorial<\/a>. E eu estava procurando uma desculpa para brincar com ele. Acontece que recentemente houve um \u00f3timo t\u00f3pico no Twitter sobre marketing para desenvolvedores. Eu me identifico com a maior parte do que est\u00e1 l\u00e1. \u00c9 um t\u00f3pico fant\u00e1stico. Eu poderia resumi-lo para garantir que meus colegas de equipe possam tirar o melhor proveito dele em pouco tempo. Por exemplo, eu poderia escrever esse resumo manualmente. Ou essa pode ser a desculpa que eu estava procurando.<\/p>\n

Vamos pedir a um LLM (Large Language Model) que resuma essa brilhante discuss\u00e3o para mim e para o benef\u00edcio de outras pessoas. Em teoria, as coisas devem acontecer da seguinte forma:<\/p>\n

    \n
  1. \n
      \n
    1. Obtendo os tweets<\/li>\n
    2. Transformando-os em vetores gra\u00e7as a um LLM<\/li>\n
    3. Armazenamento do tweet e dos vetores no Couchbase<\/li>\n
    4. Cria\u00e7\u00e3o de um \u00edndice para consult\u00e1-los<\/li>\n
    5. Pergunte algo ao LLM<\/li>\n
    6. Transforme isso em um vetor<\/li>\n
    7. Execute uma pesquisa de vetores para obter algum contexto para o LLM<\/li>\n
    8. Criar o prompt do LLM a partir da pergunta e do contexto<\/li>\n
    9. Obtenha uma resposta fant\u00e1stica<\/li>\n<\/ol>\n<\/li>\n<\/ol>\n

      Esse \u00e9 basicamente um fluxo de trabalho RAG. RAG significa Retrieval Augmented Generation (Gera\u00e7\u00e3o Aumentada de Recupera\u00e7\u00e3o). Ele permite que os desenvolvedores criem aplicativos baseados em LLM mais precisos e robustos, fornecendo contexto.<\/p>\n

      Extra\u00e7\u00e3o de dados do Twitter<\/h2>\n

      A primeira coisa a fazer \u00e9 obter dados do Twitter. Na verdade, essa \u00e9 a parte mais dif\u00edcil se voc\u00ea n\u00e3o assinar a API deles. Mas com um bom e velho trabalho de sucata, voc\u00ea ainda pode fazer algo decente. Provavelmente n\u00e3o \u00e9 100% preciso, mas \u00e9 decente. Ent\u00e3o, vamos a isso.<\/p>\n

      Obtendo meu IDE favorito, com o Plug-in do Couchbase<\/a> instalado, crio um novo script Python e come\u00e7o a brincar com twikit<\/a>uma biblioteca de coleta de dados do Twitter. Tudo funciona bem at\u00e9 que recebo rapidamente um erro HTTP 429. Muitas solicita\u00e7\u00f5es<\/em>. Tenho me esfor\u00e7ado demais. Fui pego. Algumas coisas para atenuar isso.<\/p>\n<\/div>\n

        \n
      1. \n
          \n
        1. Primeiro, certifique-se de armazenar o cookie de autentica\u00e7\u00e3o em um arquivo e reutiliz\u00e1-lo, em vez de refazer o login freneticamente, como eu fiz.<\/li>\n
        2. Em segundo lugar, mude para um IDE on-line, pois voc\u00ea poder\u00e1 alterar o IP com mais facilidade.<\/li>\n
        3. Terceiro, introduza o tempo de espera e torne-o aleat\u00f3rio. N\u00e3o tenho certeza se a parte aleat\u00f3ria ajuda, mas por que n\u00e3o, \u00e9 f\u00e1cil.<\/li>\n<\/ol>\n<\/li>\n<\/ol>\n

          O script final tem a seguinte apar\u00eancia:<\/p>\n

          from twikit import Client\r\nfrom random import randint\r\nimportar json\r\nimportar time\r\n\r\ndef get_json_tweet(t, parentid):\r\n    return {\r\n        'created_at': t.created_at,\r\n        'id': t.id,\r\n        'parent' : parentid,\r\n        'full_text': t.full_text,\r\n        'created_at': t.created_at,\r\n        'text': t.text,\r\n        'lang': t.lang,\r\n        'in_reply_to': t.in_reply_to,\r\n        'quote_count': t.quote_count,\r\n        'reply_count': t.reply_count,\r\n        'favorite_count': t.favorite_count,\r\n        'view_count': t.view_count,\r\n        'hashtags': t.hashtags,\r\n        'user' : {\r\n            'id' : t.user.id,\r\n            'name' : t.user.name,\r\n            'screen_name ' : t.user.screen_name ,\r\n            'url ' : t.user.url ,\r\n        },\r\n    }\r\n\r\ndef get_replies(id, total_replies, recordTweetid):\r\n    tweet = client.get_tweet_by_id(id)\r\n    if( tweet.reply_count == 0):\r\n        return\r\n\r\n    # Obter todas as respostas\r\n    todas_respostas = []\r\n    tweets = tweet.replies\r\n    todas_respostas += tweets\r\n\r\n    while len(tweets) != 0:\r\n        try:\r\n            time.sleep(randint(10,20))\r\n            tweets = tweets.next()\r\n            all_replies += tweets\r\n        except IndexError:\r\n            print(\"Array Index error\")\r\n            break\r\n\r\n    print(len(todas_respostas))\r\n    print(todas_respostas)\r\n    for t in all_replies:\r\n        jsonTweet = get_json_tweet(t, id)\r\n        if (not t.id in recordTweetid) and ( t.in_reply_to == id):\r\n            time.sleep(randint(10,20))\r\n            get_replies(t.id, total_replies, recordTweetid)\r\n        f.write(',\\n')\r\n        json.dump(jsonTweet, f, ensure_ascii=False, indent=4)\r\n\r\n\r\n\r\ncliente = Client('en-US')\r\n\r\n## Voc\u00ea pode comentar essa parte do `login` ap\u00f3s a primeira vez que executar o script (e voc\u00ea tiver o arquivo `cookies.json`)\r\ncliente.login(\r\n    auth_info_1='username',\r\n    password='secret',\r\n)\r\n\r\ncliente.save_cookies('cookies.json');\r\n# client.load_cookies(path='cookies.json');\r\n\r\nreplies = []\r\nrecordTweetid = []\r\nwith open('data2.json', 'a', encoding='utf-8') as f:\r\n    get_replies('1775913633064894669', replies, recordTweetid)\r\n<\/pre>\n
          Foi um pouco doloroso evitar o 429, passei por v\u00e1rias itera\u00e7\u00f5es, mas no final consegui algo que funciona em sua maior parte. S\u00f3 precisei adicionar o colchete inicial e final para transform\u00e1-lo em uma matriz JSON v\u00e1lida:<\/p>\n
          [\r\n    {\r\n         \"created_at\": \"Thu Apr 04 16:15:02 +0000 2024\",\r\n         \"id\": \"1775920020377502191\",\r\n         \"full_text\": nulo,\r\n         \"text\": \"@kelseyhightower SOCKS! Jogarei milh\u00f5es de d\u00f3lares na primeira empresa que me oferecer meias!\\n\\nImportante observar aqui: Eu n\u00e3o tenho milh\u00f5es de d\u00f3lares! \\n\\nAcho que posso ter um problema.\",\r\n         \"lang\": \"en\",\r\n         \"in_reply_to\": \"1775913633064894669\",\r\n         \"quote_count\": 1,\r\n         \"reply_count\": 3,\r\n         \"favorite_count\": 23,\r\n         \"view_count\": \"4658\",\r\n         \"hashtags\": [],\r\n         \"user\": {\r\n             \"id\": \"4324751\",\r\n             \"name\": \"Josh Long\",\r\n             \"nome_de_tela\": \"starbuxman\",\r\n    \"url \": \"https:\/\/t.co\/PrSomoWx53\"\r\n         }\r\n    },\r\n...\r\n]\r\n<\/pre>\n
          Josh est\u00e1 obviamente certo, as meias est\u00e3o no centro do que fazemos no marketing para desenvolvedores, juntamente com a ironia.<\/p>\n
          Agora, tenho um arquivo que cont\u00e9m uma matriz de documentos JSON, todos com dicas de marketing para desenvolvedores. O que vem a seguir?<\/p>\n
          Transformando tweets em vetores<\/h2>\n
          Para garantir que possa ser usado por um LLM como contexto adicional, ele precisa ser transformado em um vetor, ou incorpora\u00e7\u00e3o<\/em>. Basicamente, \u00e9 uma matriz de valores decimais entre 0 e 1. Tudo isso permitir\u00e1 o RAG, Retrieval Augmented Generation. Isso n\u00e3o \u00e9 universal, cada LLM tem sua pr\u00f3pria representa\u00e7\u00e3o de um objeto (como dados de texto, \u00e1udio ou v\u00eddeo). Por ser extremamente pregui\u00e7oso e n\u00e3o saber o que est\u00e1 acontecendo nesse espa\u00e7o, escolhi OpenAI\/ChatGPT<\/a>. \u00c9 como se houvesse mais modelos surgindo a cada semana do que t\u00ednhamos estruturas JavaScript em 2017.<\/p>\n
          De qualquer forma, criei minha conta na OpenAI, criei uma chave de API, adicionei alguns d\u00f3lares porque, aparentemente, voc\u00ea n\u00e3o pode usar a API deles se n\u00e3o o fizer, mesmo as coisas gratuitas. Ent\u00e3o, eu estava pronto para transformar tweets em vetores. O caminho mais curto para obter a incorpora\u00e7\u00e3o por meio da API \u00e9 usar o curl. Ele ter\u00e1 a seguinte apar\u00eancia:<\/p>\n
          curl https:\/\/api.openai.com\/v1\/embeddings -H \"Authorization: Bearer $OPENAI_API_KEY\" \\\r\n -H \"Content-Type: application\/json\" \\\r\n   -d '{\"input\": \" SOCKS! Jogarei milh\u00f5es de d\u00f3lares na primeira empresa que me oferecer meias!\\n\\nImportante observar aqui: Eu n\u00e3o tenho milh\u00f5es de d\u00f3lares! \\n\\nAcho que posso ter um problema.\", \"model\": \"text-embedding-ada-002\"}'\r\n{\r\n  \"object\": \"list\",\r\n  \"data\": [\r\n{\r\n   \"object\": \"embedding\",\r\n   \"index\": 0,\r\n   \"embedding\": [\r\n     -0.008340064,\r\n     -0.03142008,\r\n     0.01558878,\r\n    ...\r\n    0.0007338819,\r\n     -0.01672055\r\n   ]\r\n}\r\n  ],\r\n  \"model\": \"text-embedding-ada-002\",\r\n  \"usage\": {\r\n\"prompt_tokens\": 40,\r\n\"total_tokens\": 40\r\n  }\r\n}\r\n<\/pre>\n
          Aqui voc\u00ea pode ver que a entrada JSON tem um campo de entrada que ser\u00e1 transformado em um vetor e o campo de modelo que faz refer\u00eancia ao modelo a ser usado para transformar o texto em um vetor. A sa\u00edda fornece o vetor, o modelo usado e as estat\u00edsticas de uso da API.<\/p>\n
          Fant\u00e1stico, e agora? Transformar esses dados em vetores n\u00e3o \u00e9 barato. \u00c9 melhor que sejam armazenados em um banco de dados para serem reutilizados posteriormente. Al\u00e9m disso, voc\u00ea pode obter facilmente alguns recursos adicionais interessantes, como a pesquisa h\u00edbrida.<\/p>\n
          H\u00e1 algumas maneiras de ver isso. H\u00e1 uma maneira manual tediosa que \u00e9 \u00f3tima para aprender coisas. E h\u00e1 o uso de bibliotecas e ferramentas que facilitam a vida. Na verdade, fui direto ao ponto usando Langchain<\/a> achando que isso facilitaria minha vida, e foi o que aconteceu, at\u00e9 que me perdi um pouco. Ent\u00e3o, para nosso benef\u00edcio coletivo de aprendizado, vamos come\u00e7ar com a maneira manual. Tenho uma matriz de documentos JSON, preciso vetorizar seu conte\u00fado, armazen\u00e1-lo no Couchbase e, depois, poderei consult\u00e1-los com outro vetor.<\/p>\n
          Carregando os tweets em um Vector Store como o Couchbase<\/h2>\n
          Vou usar Python porque sinto que preciso me aperfei\u00e7oar nisso, embora possamos ver a implementa\u00e7\u00e3o do Langchain em Java ou JavaScript. E a primeira coisa que quero abordar \u00e9 como me conectar ao Couchbase:<\/p>\n
          def connect_to_couchbase(connection_string, db_username, db_password):\r\n    \"\"\"Conectar-se ao couchbase\"\"\"\r\n    from couchbase.cluster import Cluster\r\n    from couchbase.auth import PasswordAuthenticator\r\n    from couchbase.options import ClusterOptions\r\n    from datetime import timedelta\r\n\r\n    auth = PasswordAuthenticator(db_username, db_password)\r\n    options = ClusterOptions(auth)\r\n    connect_string = connection_string\r\n    cluster = Cluster(connect_string, options)\r\n    # Aguarde at\u00e9 que o cluster esteja pronto para uso.\r\n    cluster.wait_until_ready(timedelta(seconds=5))\r\n    return cluster\r\n\r\nif name == \"__main__\":\r\n    # Carregar vari\u00e1veis de ambiente\r\n    DB_CONN_STR = os.getenv(\"DB_CONN_STR\")\r\n    DB_USERNAME = os.getenv(\"DB_USERNAME\")\r\n    DB_PASSWORD = os.getenv(\"DB_PASSWORD\")\r\n    DB_BUCKET = os.getenv(\"DB_BUCKET\")\r\n    DB_SCOPE = os.getenv(\"DB_SCOPE\")\r\n    DB_COLLECTION = os.getenv(\"DB_COLLECTION\")\r\n    # Conectar-se ao Couchbase Vector Store\r\n    cluster = connect_to_couchbase(DB_CONN_STR, DB_USERNAME, DB_PASSWORD)\r\n    bucket = cluster.bucket(DB_BUCKET)\r\n    escopo = bucket.scope(DB_SCOPE)\r\n    collection = scope.collection(DB_COLLECTION)\r\n<\/pre>\n
          Nesse c\u00f3digo, voc\u00ea pode ver o connect_to_couchbase<\/em> que aceita um m\u00e9todo string de conex\u00e3o<\/em>, nome de usu\u00e1rio<\/em> e senha<\/em>. Todos eles s\u00e3o fornecidos pelas vari\u00e1veis de ambiente carregadas no in\u00edcio. Quando tivermos o objeto do cluster, poderemos obter o bucket, o escopo e a cole\u00e7\u00e3o associados. Se voc\u00ea n\u00e3o estiver familiarizado com o Couchbase, as cole\u00e7\u00f5es s\u00e3o semelhantes a uma tabela RDBMS. Os escopos podem ter tantas cole\u00e7\u00f5es e baldes quantos forem os escopos. Essa granularidade \u00e9 \u00fatil por v\u00e1rios motivos (multiloca\u00e7\u00e3o, sincroniza\u00e7\u00e3o mais r\u00e1pida, backup etc.).<\/p>\n
          Mais uma coisa antes de obter a cole\u00e7\u00e3o. Precisamos de um c\u00f3digo para transformar o texto em vetores. Usando o cliente OpenAI, ele tem a seguinte apar\u00eancia:<\/p>\n
          from openai import OpenAI\r\n\r\n    def get_embedding(text, model=\"text-embedding-ada-002\"):\r\n        text = text.replace(\"\\n\", \" \")\r\n        return client.embeddings.create(input = [text], model=model).data[0].embedding\r\n\r\n    cliente = OpenAI()<\/pre>\n
          Isso far\u00e1 um trabalho semelhante ao da chamada de curl anterior. Apenas certifique-se de que voc\u00ea tenha o OPENAI_API_KEY <\/strong>definida para que o cliente funcione.<\/p>\n
          Agora vamos ver como criar um documento do Couchbase a partir de um tweet JSON, com a incorpora\u00e7\u00e3o gerada.<\/p>\n
              # Abra o arquivo JSON e carregue os tweets como uma matriz JSON em dados\r\n    com open('data.json') as f:\r\n        data = json.load(f)\r\n\r\n    # Fa\u00e7a um loop para criar o objeto a partir do JSON\r\n    for tweet in data:\r\n        text = tweet['text']\r\n        full_text = tweet['full_text']\r\n        id = tweet['id']\r\n        se full_text n\u00e3o for None:\r\n            embedding = get_embedding(full_text)\r\n            textToEmbed = full_text\r\n        else:\r\n            embedding = get_embedding(text)\r\n            textToEmbed = texto\r\n        document = {\r\n            \"metadata\": tweet,\r\n            \"text\": textToEmbed,\r\n            \"embedding\": embedding\r\n        }\r\n        collection.upsert(key = id, value = document)\r\n<\/pre>\n
          O documento tem tr\u00eas campos, metadados<\/em> cont\u00e9m o tweet inteiro, texto<\/em> \u00e9 o texto transformado em uma string e incorpora\u00e7\u00e3o<\/em> \u00e9 a incorpora\u00e7\u00e3o gerada com o OpenAI. A chave ser\u00e1 o ID do tweet. E upsert<\/em> \u00e9 usado para atualizar ou inserir o documento, caso ele n\u00e3o exista.<\/p>\n
          Se eu executar isso e me conectar ao meu servidor Couchbase, verei documentos sendo criados.<\/p>\n
          \"A<\/p>\n
          Neste ponto, extra\u00ed dados do Twitter, carreguei-os no Couchbase como um tweet por documento, com a incorpora\u00e7\u00e3o do OpenAI gerada e inserida para cada tweet. Estou pronto para fazer perguntas para consultar documentos semelhantes.<\/p>\n
          Executar o Vector Search em Tweets<\/h2>\n
          E agora \u00e9 hora de falar sobre o Vector Search. Como pesquisar tweets semelhantes a um determinado texto? A primeira coisa a fazer \u00e9 transformar o texto em um vetor ou incorpora\u00e7\u00e3o. Ent\u00e3o, vamos fazer a pergunta:<\/p>\n
              query = \"Devemos gastar milh\u00f5es de d\u00f3lares para comprar SOCKs para o marketing do desenvolvedor?\"\r\n    queryEmbedding = get_embedding(query)\r\n<\/pre>\n
          \u00c9 isso a\u00ed. O queryEmbedding<\/em> cont\u00e9m um vetor que representa a consulta. Para a consulta:<\/p>\n
          INDEX_NAME = os.getenv(\"INDEX_NAME\") # Nome completo do \u00edndice de texto\r\n# Esta \u00e9 a consulta de pesquisa do vetor\r\nsearch_req = search.SearchRequest.create(\r\n    VectorSearch.from_vector_query(\r\n        VectorQuery(\r\n            \"Embedding\", # Nome da propriedade JSON que cont\u00e9m a incorpora\u00e7\u00e3o a ser comparada\r\n            queryEmbedding, # nossa incorpora\u00e7\u00e3o de consulta\r\n            5, # n\u00famero m\u00e1ximo de resultados\r\n            )\r\n        )\r\n)\r\n# Executar a consulta de pesquisa vetorial no escopo selecionado\r\nresult = scope.search(\r\n        INDEX_NAME, Nome do \u00edndice de texto completo do #\r\n        search_req,\r\n        SearchOptions(\r\n        show_request=True,\r\n        log_request=True\r\n    ),\r\n).rows()\r\n\r\nfor row in result:\r\n    print(\"Encontrado o tweet \\\"{}\\\" \".format(row))\r\n<\/pre>\n
          Como quero ver o que estou fazendo, estou ativando os registros do Couchbase SDK configurando essa vari\u00e1vel de ambiente:<\/p>\n
          export PYCBC_LOG_LEVEL=info<\/pre>\n
          Se voc\u00ea estiver acompanhando o processo e tudo correr bem, dever\u00e1 receber uma mensagem de erro!<\/p>\n
          @ldoguin \u279c \/workspaces\/rag-demo-x (main) $ python read_vectorize_store_query_json.py\r\nTraceback (\u00faltima chamada mais recente):\r\n  File \"\/workspaces\/rag-demo-x\/read_vectorize_store_query_json.py\", line 167, in \r\n    for row in result:\r\n  File \"\/home\/vscode\/.local\/lib\/python3.11\/site-packages\/couchbase\/search.py\", line 136, in __next__\r\n    raise ex\r\n  Arquivo \"\/home\/vscode\/.local\/lib\/python3.11\/site-packages\/couchbase\/search.py\", linha 130, em __next__\r\n    return self._get_next_row()\r\n           ^^^^^^^^^^^^^^^^^^^^\r\n  Arquivo \"\/home\/vscode\/.local\/lib\/python3.11\/site-packages\/couchbase\/search.py\", linha 121, em _get_next_row\r\n    raise ErrorMapper.build_exception(row)\r\ncouchbase.exceptions.QueryIndexNotFoundException: QueryIndexNotFoundException()\r\n<\/pre>\n
          E isso \u00e9 bom porque temos um QueryIndexNotFoundException<\/em>. Ele est\u00e1 procurando um \u00edndice que ainda n\u00e3o existe. Portanto, precisamos cri\u00e1-lo. Voc\u00ea pode fazer login em seu cluster no Capella e acompanhar o processo:<\/p>\n
          \n
          \n
          \n