在人工智能迈向终端化和个性化新纪元的当下,美国深度科技初创公司Tiiny AI引领了一场“去中心化”的算力革命。近期,该公司正式推出了Tiiny AI Pocket Lab(袖珍AI实验室),这个仅重300克、外观类似移动电源的微型设备,凭借高达190 TOPS的峰值算力,能够在本地运行拥有1200亿参数(120B)的大型语言模型,并被吉尼斯世界纪录认证为“全球最小的个人AI超级计算机”,象征着AI算力从云端迈向掌心的重大转变。
这款仅有14.2×8×2.53厘米的迷你设备,尽管没有采用传统的GPU,却通过创新的架构实现了令人惊叹的性能密度。设备核心搭载了定制的异构SoC模块,集成了ARMv9.2的12核CPU和高性能NPU,并配有80GB的LPDDR5X内存和1TB的SSD存储,打造了一个足以支持GPT-4级别大模型本地推理的硬件基础。整机的功耗仅为65W,远远低于传统AI服务器通常需要的数千瓦能耗,大大降低了碳足迹,为可持续AI发展提供了全新的可能性。

Tiiny AI的突破不仅在于硬件,更在于核心技术的双重创新。其一,TurboSparse技术实现神经元级稀疏激活,仅调用必要计算单元,大幅提升能效;其二,开源推理引擎PowerInfer(GitHub星标超8000)实现CPU与NPU的智能负载分配,在低功耗下仍保持高吞吐。两项技术协同,使Pocket Lab在离线状态下即可完成多步骤推理、上下文理解、智能体工作流与敏感数据安全处理,彻底摆脱对云端的依赖。
“智能不应属于数据中心,而应属于每个人。”Tiiny AI市场总监萨马尔·博杰表示。Pocket Lab正是这一理念的具象化:用户可一键部署Llama、Qwen、DeepSeek、Mistral等主流开源模型,支持OpenManus、ComfyUI等AI智能体框架,实现真正私密、个性化的AI体验。所有数据本地加密存储,杜绝隐私泄露风险,尤其适合科研、创作、教育等对数据安全要求高的场景。

设备还支持定期无线硬件升级,生态系统持续迭代,预计2026年1月将在CES展会上展示更多功能。尽管目前未公布具体售价,但其定位直指高端AI终端市场,若定价合理,或将颠覆现有AI算力格局。