Apps

概念

Apps（应用）是 TensorStack AI 平台在用户 “应用场景” 的扩展机制，用于支持多样性的应用场景及个人偏好，类似于智能手机上的 “应用商店” 机制。

这里的 Apps 既包括由 AI 模型驱动的应用程序，例如 vLLM、Open WebUI、Stable Diffusion WebUI，也包含在 AI 研究、开发过程中可能使用到的软件、工具，例如 JupyterLab、TensorBoard、Dify。利用这些 Apps，用户能够高效地完成模型开发、训练和部署，AI 应用构建和部署等任务，全面开展与 AI 有关的工作。

用户在完成某一项任务时可以根据任务的性质和自身的偏好，灵活地安装和使用多个 Apps，并且这些 Apps 可以通过共享存储、API 调用等方式进行协作，如下图所示：

app
图 1：用户可以根据任务的性质和自身的偏好，灵活地安装和使用多个 Apps 完成工作。这些 Apps 可以通过共享存储、API 调用等方式进行协作。

例如：

1）在任务 进行数据并行训练 中：

  • 用户在 JupyterLab App 中进行交互式开发。
  • 用户在 Job Manager App 中查看运行的 PyTorchTrainingJob。
  • JupyterLab、PyTorchTrainingJob 和 TensorBoard App 挂载同一个 PVC，通过文件系统共享数据：
    • 用户在 JupyterLab 中拉取的训练代码可以被 PyTorchTrainingJob 执行。
    • PyTorchTrainingJob 中产生的 tfevents 日志文件可以被 TensorBoard 所读取并可视化展示。

2）在任务 部署 LLM 推理服务和聊天服务 中：

  • JupyterLab App 和 vLLM App 共享存储，在 JupyterLab 中下载的模型文件可以被 vLLM 所加载。
  • NextChat 调用 vLLM 的 LLM 推理服务 API。
  • 用户通过 NextChat 提供的简洁美观的 UI 中与 vLLM 部署的 LLM 聊天。

Apps 目录

在 User Console 中，用户可以方便的查看可安装的 Apps，并根据需求，随时安装、卸载各种 Apps。

create-pvc1
图 2：应用目录展示了系统中可安装的 Apps。用户可根据需求，随时安装、卸载各种应用；集群管理员可控制（通过 Apps 注册流程）用户可见的 Apps 及其版本；系统支持一个 App 的多个版本同时存在。

Apps 列表

这里给出可用（需要管理员注册）的 Apps 的列表，最新及完整的 Apps 支持列表请参看 GitHub。

下列部分 Apps 提供了链接指向更详细的文档。

App分类简介
Argo WorkflowsToolArgo Workflows 是一个开源的工作流编排引擎。
Code ServerIDECode Server 是一个基于浏览器的 VSCode 环境。
ComfyUIAIComfyUI 是一个功能强大且模块化的 Stable Diffusion 图形用户界面和后端，支持基于图、节点和流程图设计和执行高级流水线。
DifyAIDify 是一个开源 LLM 应用开发平台，提供直观的界面，支持 AI 工作流、RAG 管道、Agent 和模型管理，便于从原型到生产的快速开发。
File BrowserToolFile Browser 为指定目录提供了一个文件管理界面，用于上传、删除、预览、重命名和编辑文件。
Fish SpeechAIFish Speech 是一套全新的 TTS 解决方案，支持无微调的音色克隆。
GPT ResearcherAIGPT Researcher 是一个智能体代理，专门用于各种任务的综合在线研究。
Job ManagerToolJob Manager 是一个计算作业管理控制台，支持作业创建、状态查看和事件监控等功能。
JupyterLab (CPU)IDEJupyterLab 是一个基于 Web 的交互式开发环境，用于代码开发和数据处理，支持数据科学、科学计算和机器学习等任务。
JupyterLab (NVIDIA GPU)IDEJupyterLab (NVIDIA GPU) 是一个基于 Web 的交互式开发环境，适用于 NVIDIA GPU 的计算任务。
JupyterLab (Enflame GCU)IDEJupyterLab (Enflame GCU) 是一个基于 Web 的开发环境，适用于 Enflame GCU 的计算任务。
JupyterLab (Hygon DCU)IDEJupyterLab (Hygon DCU) 是一个基于 Web 的开发环境，适用于 Hygon DCU 的计算任务。
Label StudioAI, ToolLabel Studio 是一个数据标注工具。
Llama BoardAILlama Board 是 LLaMA-Factory 项目的网页 UI，用于（增量）预训练、指令微调和评估开源 LLM。
MongoDBDatabaseMongoDB 是一个开源的 NoSQL 数据库，使用 JSON 样式文档存储数据，支持自动扩展和高性能，适合开发云原生应用。
NextChatAINextChat 是一个设计精良的 ChatGPT 网页 UI，支持多种聊天服务，包括 ChatGPT、Claude、Gemini 和本地推理服务。
OllamaAIOllama 提供本地使用 LLM 的解决方案。
Open WebUIAIOpen WebUI 是一个用户友好的聊天交互网页界面。
PostgreSQLDatabasePostgreSQL 是一个开源对象关系数据库，支持 ACID 事务，提供外键、联接、视图、触发器和存储过程等功能。
QdrantDatabaseQdrant 是一个面向 AI 应用的向量数据库。
RedisDatabaseRedis 是一个内存数据库，支持多种数据结构如字符串、列表、集合等，同时数据持久化到磁盘。
RStudioIDERStudio 是一个集成开发环境，帮助你提高 R 和 Python 的开发效率。
Search with LeptonAISearch with Lepton 是一个开源的对话式搜索引擎（conversational search engine）。
Service ManagerToolService Manager 是一个推理服务管理控制台。
Stable Diffusion WebUI akiAIStable Diffusion WebUI aki 是基于开源项目 Stable Diffusion WebUI 的整合包，由 bilibili@秋葉 aaaki 制作。
TensorBoardToolTensorBoard 是 TensorFlow 的可视化工具，展示模型训练过程中的各种数据。
TerminalToolTerminal 是一个在浏览器中直接打开和操作的集群终端，便于管理集群。
vLLMAIvLLM 是一个高吞吐量和内存高效的 LLM 推理和服务引擎。
vLLM (Llama 3.1)AI使用 vLLM 部署 Llama 3.1 系列模型。
vLLM (Enflame GCU)AIvLLM (Enflame GCU) 是一个高吞吐量和内存高效的 LLM 推理和服务引擎，适用于燧原 GCU。
vLLM (Hygon DCU)AIvLLM (Hygon DCU) 是一个高吞吐量和内存高效的 LLM 推理和服务引擎，适用于海光 DCU。
WorkflowToolWorkflow 是一个工作流管理控制台，支持工作流创建、状态查看和事件监控等功能。

下一步