Orange Pi AI Pro 开发板是香橙派联合华为精心打造的高性能 AI 开发板,其搭载了昇腾 AI 处理器,可提供 8TOPS INT8 的计算能力,内存提供了 8GB 和 16GB两种版本。可以实现图像、视频等多种数据分析与推理计算,可广泛用于教育、机器人、无人机等场景。
把香橙派AIpro的电源插上,连接显示器键盘鼠标和网线,开机风扇声音还挺大,不过进入系统后风扇声音变小。
我这里把香橙派的IP固定为 192.168.1.22,免得重启或者IP被局域网的占用的情况。
Ollama运行llama3、qwen等大模型,虽然有些小马拉大车,我还是想试试它的极限在哪里
宝塔面板(BT Panel)是一款服务器管理软件,支持Linux系统,可以通过Web端轻松管理服务器,提升运维效率。它集成了建站、运维、安全等功能,可以帮助用户轻松管理服务器,降低运维难度。
当然还可以用宝塔的图形界面使用Docker搭建各种的服务,对于哪些没有代码能力的人也是一种很友好的。
本文只是介绍了用香橙派AIpro部署大语言模型和安装宝塔搭建web环境。
香橙派AIpro 支持Ubuntu、openEuler等操作系统,也可以作为一个学习Linux的有力工具。也能够满足大多数AI算法原型验证、推理应用开发的需求。
也可以用于智能家居设备的控制和管理,等等香橙派AIpro还有很多的玩法。