SlowLlama - Llama2-70b 와 CodeLLama를 M1/M2에서 양자화없이 파인튜닝

내인생PLUS 2023. 10. 9. 23:18

728x90

https://news.hada.io/topic?id=11245&utm_source=discord&utm_medium=bot&utm_campaign=1480

SlowLlama - Llama2-70b 와 CodeLLama를 M1/M2에서 양자화없이 | GeekNews

애플 M1/M2 및 소비자용 nVidia GPU에서 LLama2-70B 같은 모델을 파인튜닝양자화(quantization)를 사용하는 대신, 포워드/백워드 패스 모두에서 모델의 일부를 SSD또는 메인 메모리로 오프로드 하는 방식현

news.hada.io

https://github.com/okuvshynov/slowllama

GitHub - okuvshynov/slowllama: Finetune llama2-70b and codellama on MacBook Air without quantization

Finetune llama2-70b and codellama on MacBook Air without quantization - GitHub - okuvshynov/slowllama: Finetune llama2-70b and codellama on MacBook Air without quantization

github.com

▲

SlowLlama - Llama2-70b 와 CodeLLama를 M1/M2에서 양자화없이 파인튜닝

(github.com/okuvshynov)

애플 M1/M2 및 소비자용 nVidia GPU에서 LLama2-70B 같은 모델을 파인튜닝
양자화(quantization)를 사용하는 대신, 포워드/백워드 패스 모두에서 모델

저작자표시 비영리 변경금지