lima-city: Webhosting, Domains und Cloud
1 Pluspunkt 0 Minuspunkte
Wie kann ich ein PyTorch Model wie z.B https://huggingface.co/openlm-research/open_llama_7b mit llama.cpp verwenden?
von  

1 Antwort

0 Pluspunkte 0 Minuspunkte

Zuerst klonst du das Repository mit git. Zum konvertieren ist im llama.cpp Hauptverzeichnis ein Python Script.   

python convert.py <path-to-model-files> 

Dann kannst du es mit llama.cpp testen.  

main -m <path-to-ggml-file> -p "You are a perfect Bot! Q: What is general relativity? A: "   

Um das ganze zu quantisieren gibt es das Programm "quantize" im Llama.cpp Ordner.   

quantize <new-model-bin-path> <ggml-model-path> <quantization-type>

So sollte das dann eigentlich funktionieren.

von (717 Punkte)  
Diese Community basiert auf dem Prinzip der Selbstregulierung. Beiträge werden von Nutzern erstellt, bewertet und verbessert – ganz ohne zentrale Moderation.

Wer hilfreiche Fragen stellt oder gute Antworten gibt, sammelt Punkte. Mit steigender Punktzahl erhalten Mitglieder automatisch mehr Rechte, zum Beispiel

  • Kommentare verfassen
  • Beiträge bewerten
  • Inhalte bearbeiten
  • Inhalte ausblenden

So entsteht eine Plattform, auf der sich Qualität durchsetzt – getragen von einer engagierten Gemeinschaft. Unser Ziel: Guter Inhalt. Für alle.

2.3k Fragen

2.8k Antworten

260 Kommentare

13 Nutzer