Pode correr um modelo de IA no seu computador, sem enviar nada para a internet, com um programa como o Ollama ou o LM Studio. Descarrega-se o programa, descarrega-se um modelo aberto, e a conversa acontece na sua máquina. Funciona bem para experimentar, para textos confidenciais e para aprender. Não iguala os maiores modelos da nuvem, e a velocidade depende da memória do computador.
Isto é diferente de correr o Ollama num servidor, que está em correr modelos no seu VPS. Aqui não é preciso servidor, nem domínio, nem ligação de fora.
Ollama ou LM Studio
|
Ollama |
LM Studio |
| Como se usa |
Pela linha de comandos, e por uma API local para outros programas |
Aplicação com janelas: pesquisa de modelos, descarga e chat |
| Quem prefere |
Quem está à vontade com o terminal ou quer ligar a outras ferramentas |
Quem quer experimentar sem comandos |
| Onde se obtém |
No site oficial do projecto |
No site oficial do projecto |
| Para ligar a outros programas |
Escuta, por omissão, só no próprio computador (a porta indicada na documentação é a 11434) |
Tem um servidor local opcional; veja a documentação |
Primeiros passos, no essencial
| 1 |
Descarregue o programa só do site oficial. Há cópias falsas com o mesmo nome.
|
|
| 2 |
Escolha um modelo pequeno para começar. Cada modelo indica na sua página a memória de que precisa; leia-a antes de descarregar. Os ficheiros são grandes: confirme o espaço em disco.
|
|
| 3 |
No Ollama, os comandos básicos são ollama pull nome-do-modelo para descarregar, ollama run nome-do-modelo para conversar e ollama list para ver o que tem. O nome exacto vem da lista de modelos do projecto.
|
|
| 4 |
No LM Studio, procure o modelo na própria aplicação, descarregue e abra uma conversa.
|
|
| 5 |
Meça. Veja quanto demora a responder e se o resultado chega para a tarefa. Só então suba para um modelo maior, se a memória deixar.
|
|
O que esperar
| Aspecto |
Realidade |
| Velocidade |
Depende sobretudo da memória e de haver ou não placa gráfica. Sem ela, os modelos maiores ficam lentos. |
| Qualidade |
Os modelos pequenos erram mais e seguem pior instruções complicadas. |
| Privacidade |
O texto não sai da máquina, desde que o programa não seja aberto à rede. |
| Licença do modelo |
Cada modelo tem a sua. Alguns limitam o uso comercial; leia antes de o usar no negócio. |
| Erros |
Inventam como os da nuvem. Veja como verificar uma resposta. |
|
Não abra o programa à rede sem saber o que faz. Se um serviço local ficar acessível a outros computadores, qualquer pessoa na rede pode usar o seu equipamento. Mantenha-o em localhost.
|
|
Se o objectivo é proteger dados, comece por perguntar se a tarefa precisa mesmo de um modelo grande. Resumir, classificar e reescrever textos curtos costuma correr bem em modelos pequenos.
|
|
Precisa de mais memória do que o seu computador tem? Veja os planos de VPS.
Ver planos de VPS
|
PRODUTO RECOMENDADO Alojamento de sites com cPanel Domínio e SSL incluídos, cópias diárias e o painel que já conhece. desde 5.940,00 Kz/mês (plano de 3 anos, com cupão) Ver planos |
Português
English
