1.1 HuggingFists简介(二)
HuggingFists商业原则
HuggingFists提供了社区版与商业版两类版本。为了最大限度的方便用户使用,DataYoo团队在主要模块的功能和性能开放上没有做出版本差异,并且承诺会持续开放社区版供用户免费使用。社区版用户需要拥有连接互联网的环境。对于有局域网部署需求的用户就需要购买HuggingFists的商业版了。
HuggingFists对于整合用户环境,将能力集成进HuggingFists是持开放原则的。用户可以通过算子、数据服务等多种手段将各类业务能力集成进HuggingFists并加以利用。但对于对外曝露接口供第三调用的能力,HuggingFists持关闭原则的,即若有其它系统希望通过接口与HuggingFists交互,则需要购买HuggingFists的商业版。
除上述原则外,HuggingFists的社区版与商业版还有两个比较大的差别。一是,商业版拥有比社区版更多的连接器和算子。商业版能够支持更多的应用场景。而这部分资源对于社区用户并非完全不可获得,社区用户可以通过加入社群为HuggingFists贡献力量换取积分换得更多可用资源;二是,社区版只支持单计算节点,对于个人及中小用户而言这足够了。但对于大型用户,需要更多算力支持并发计算的场景,就需要HuggingFists商业版的多计算节点支持能力了。HuggingFists的商业版支持水平扩容计算节点,解决算力不足的情况。
HuggingFists能做什么
数据科研
这是DataYoo团队最想支撑到的部分。现在的科研工作会产生各种各样的数据,对于非计算机专业的科研工作者而言,处理和分析这些数据成为了需要去做而又令人望而却步的事情。虽然已经有了Python,R等开发语言能够很好的支撑数据的处理及分析工作。但对于很多科研工作者而言,以无暇学习并掌握一门开发语言。实际中,更多是与开发工程师配合来完成工作,这就增加了很多不必要的沟通与协调成本。HuggingFists提供的低代码编程环境,可以大幅降低非计算机专业科研人员的学习成本,丰富的算子库,可以在很大程度上让科研人员自己尝试对数据的处理和分析,更快的找到科研的思路与方向。
另外,未来的科研工作一定离不开AI模型,HuggingFists可以帮助科研人员更快的了解和应用各类AI模型,助力科研工作。
非结构数据处理平台
Spark,Flink等大数据计算框架的出现推动了过去十几年间结构化信息项目的的蓬勃发展。多数用户已经建成了针对结构化数据的中台系统。但更大规模的文档、图片等非结构化数据仍躺在客户的硬盘上,没有被发掘出应有的价值。而2023年LLM、多模态等AI技术的兴起使得用户的非结构化数据有了发挥价值的机会。用户可以使用HuggingFists搭建起一个非结构化数据处理平台,便捷的应用包括LLM在内的各类AI技术对文档及图片进行处文本抽取、实体抽取、OCR识别、物体识别等处理,为进一步挖掘数据的价值及搭建业务系统提供基础支撑。
LLM应用开发平台
帮助个人及企业用户,利用LLM的强大推理能力构建应用系统,提升业务效率。用户可以使用HuggingFists工程落地基于LLM的RAG(检索增强生成)及Agent(智能体)等应用。尤其是Agent,目前已被公认为LLM最有前景的应用方式,未来将涌现更多的构建需求。HuggingFists所采用的技术架构对应用环境有更好的适应性,将更有利于Agent的落地。HuggingFists集成了HuggingFace,OpenAI,Google,Meta,Alibaba,Baidu等众多厂商的LLM,支持用户搭建云端或本地化的各类应用。对于有Finetuning或训练LLM需求的用户,也可以利用HuggingFists做一部分数据集整理及格式转换的工作。
数据开发模块
HuggingFists还可以作为一个数据开发模块集成在其它业务系统中。对于一些实施时需要与用户数据环境对接的综合业务系统,可以使用HuggingFists作为一个数据开发模块,便捷的完成与用户环境的数据对接。对于用户的数据分析业务有持续演化需求的应用系统,也可以集成HuggingFists完成用户环境的数据分析开发。