LLaMA & Alpaca: “ChatGPT” no Linux em sua máquina local

Introdução

Large Language Model (LLaMa) e Alpaca e uma linguagem natural e aprendizado de máquina, provavelmente já ouviu falar sobre os LLMs, modelos de linguagem de grande escala que utilizam redes neurais profundas para aprender e gerar texto com fluidez e precisão. É aí que entra o Alpaca, uma plataforma de software livre que permite aos usuários executar e interagir com LLMs em um ambiente local. Neste post, exploraremos como instalar e usar o LLaMa e o Alpaca no Linux para aproveitar ao máximo esses modelos de linguagem poderosos.

Com essas ferramente foce pode criar o seu próprio “ChatGPT” e rodar tudo na sua rede. 

Neste post especifico iremos mostra como você pode fazer esta instalação usando linux.

Para fazer a instalação sera necessário você tem uma maquina física, Um maquina virtual não funcionou de modo esperado. 

No nosso caso estaremos utilizando o Ubuntu para fazer esta instalacao, entao se voce for usar o Debian, algums passos deverao ser um pouco diferente para acomodar este outro sistema operacional.

1.0 Atualização do sistema.

Antes de realizar qualquer instalação de software em um sistema Linux, é altamente recomendável que o usuário atualize o gerenciador de pacotes e todos os pacotes existentes no sistema. 

O comando atualiza a lista de pacotes disponíveis nos repositórios configurados no sistema, garantindo que o gerenciador de pacotes tenha conhecimento das versões mais recentes de cada pacote. 

Executar esses comandos antes de instalar um novo software é importante por algumas razões. Primeiramente, pode haver dependências entre o software que você deseja instalar e outros pacotes existentes no sistema. Se essas dependências não forem atendidas, o software pode não funcionar corretamente ou nem mesmo ser instalado. Além disso, muitas vezes as atualizações de segurança e correções de bugs são lançadas para pacotes já instalados no sistema, portanto, manter o sistema atualizado pode ajudar a garantir que você esteja usando a versão mais segura e estável do software disponível.

sudo apt update && sudo apt upgrade -y

2.0 Instalação do pacote Python

Ao trabalhar com Python em um ambiente Linux, é importante garantir que você esteja usando a versão correta do interpretador Python. É aí que entra o comando python3 -V. O comando python3 é usado para iniciar o interpretador Python na versão 3, que é a versão atualmente em uso, enquanto o argumento -V é usado para exibir a versão do Python instalada no sistema.

Rodar python3 -V é importante para garantir que você esteja usando a versão correta do Python e evitar problemas de compatibilidade ou de pacotes que possam surgir ao executar código em diferentes versões do Python. Por exemplo, se você estiver trabalhando com um pacote que requer o Python 3.7 ou superior, mas estiver usando o Python 2.7 ou uma versão anterior do Python 3, poderá encontrar erros ou comportamentos inesperados.

Além disso, verificar a versão do Python é uma boa prática geral para garantir que o sistema esteja atualizado e funcionando corretamente. Então, antes de iniciar qualquer projeto em Python em sua máquina Linux, sempre é recomendável rodar o comando python3 -V para verificar a versão do Python que está sendo usada.

Para a nossa instalação, e necessário ter a versão Python 3.10 ou inferior. Se a sua vesao for superior a isso, a instalação não vai funcionar de modo esperado

python3 -V

Ao trabalhar com o Alpaca em um ambiente Linux, é importante garantir que o seu sistema esteja equipado com as dependências necessárias para executar o software de forma adequada. Isso inclui a instalação do Python 3 e suas ferramentas associadas, como o python3-venv e o python3-pip.

O Python é uma linguagem de programação popular usada para desenvolvimento de software, análise de dados e aprendizado de máquina. O python3-venv é um módulo Python que permite criar ambientes virtuais isolados, onde você pode instalar bibliotecas e pacotes sem afetar o sistema principal. Já o python3-pip é um gerenciador de pacotes que facilita a instalação de bibliotecas e dependências Python.

sudo apt-get install -y python3 python3-venv python3-pip

sudo apt-get install build-essential python3-venv -y

3.0 Instalação do pacote node.js

O Node.js é uma plataforma de desenvolvimento de software em JavaScript que permite que os desenvolvedores criem aplicativos de rede escaláveis e de alta performance. A instalação do Node.js é relativamente simples e pode ser feita em poucos passos.

curl -fsSL https://deb.nodesource.com/setup_19.x |sudo -E bash – &&\ sudo apt-get install -y nodejs

4.0 Instalação da linguagem de alpaca / LLaMa

A instalação do Alpaca no Linux pode ser feita de várias maneiras, mas uma das mais simples é usando o gerenciador de pacotes npm e o comando npx. O npx é um utilitário do npm que permite executar pacotes Node.js sem precisar instalá-los globalmente em seu sistema.

Para instalar o Alpaca usando o npx, você precisa ter o npm instalado em sua máquina. O modelo 7B é um dos maiores modelos de linguagem disponíveis atualmente e pode gerar texto de alta qualidade em várias línguas.

Depois disso, basta abrir um terminal e digitar o seguinte comando:

npx dalai alpaca install 7B

Se você puder quiser instalar a linguagem LLaMa, você pode rodar o programa abaixo:

npx dalai llama install 7B

5.0 Rodar o pacote Dalai

O npx é um gerenciador de pacotes que vem com o Node.js e permite que você execute pacotes sem precisar instalá-los globalmente em seu sistema. O pacote “dalai” é um servidor HTTP de desenvolvimento leve e flexível para arquivos estáticos, que pode ser executado através do npx.

ocê pode acessar seus arquivos estáticos em um navegador, digitando “http://localhost:3000” na barra de endereços.

npx dalai serve

Agora você pode começar a utilizar esta ferramenta para sua necessidade.

Leave a Comment

Your email address will not be published. Required fields are marked *