基于大模型的社科文本挖掘!高效提取文本价值,大语言模型自动实现情感分析,非常详细建议收藏!
《AI大模型赋能科研:文本分析应用与实践》摘要 AI大模型在科研领域的应用热度攀升,尤其在文本分析方面(主题挖掘、情感分析等)效果显著。国内开发者可通过DeepSeek等国产模型API实现功能,需配置Python环境并设计提示词工程。学习路径涵盖系统设计、提示词优化、平台开发及微调训练等七大阶段,配套资源包括视频教程、书籍及实战案例。目前已发布相关B站教程,帮助用户从环境部署到项目实战逐步掌握技术
话题引入
AI大模型赋能科研,热度很高,课程很多。 B站:图情充电站,就更新了很多内容,涉及从选题、到论文撰写辅助、再到定量研究等等。
最近看了一篇论文,涉及将AI大模型应用于文本分析。
文章验证了将AI大模型应用于主题挖掘、文本分类、文本预处理、情感分析等过程的可用性和良好效果。
既然效果这么好,咱必须得学起来。恰好我看到一个公众号发布的课程内容,其中的关键内容是关于《基于大模型的文本分析》。我就好奇了,这是怎么实现的?
然后,就在网上找呀找,找到一个南洋理工大学教授的PPT,恰好题目就是使用LLM开展人文社科文本分析。


整个PPT包含了三部分共十个章节内容,涉及Python环境配置,API调用,以及进行的科研实践,包括自动摘要、情感分析、主题识别、文本分类以及结构化信息提取。
不过PPT中演示的模型是ChatGPT、Claude等国外大模型的API,对于很多人文社科的小伙伴,用起来比较麻烦。
国产的DeepSeek、豆包效果也很好。
所以就把内容重新修改了,做了国内模型的切换和修改。
那么DeepSeek的API如何申请?请看如下图。
申请到API key之后,就可以通过代码与DS进行交互。 DS提供了示例代码。
# Please install OpenAI SDK first: `pip3 install openai`
from openai import OpenAI
client = OpenAI(api_key="<DeepSeek API Key>", base_url="https://api.deepseek.com")
response = client.chat.completions.create(
model="deepseek-chat",
messages=[
{"role": "system", "content": "You are a helpful assistant"},
{"role": "user", "content": "Hello"},
],
stream=False
)
print(response.choices[0].message.content)
我们会看到message中有两个身份,一个是system,另一个是user。 这两个身份对于我们实现基于大模型的文本分析非常重要。 给小伙伴一些提示,目前除了大模型微调外,其他直接基于通用大模型的方法实现,都是基于提示工程完成的。
而提示工程实质上就是提示词,你需要设计不同文本分析任务的提示词,扔给user,然后执行代码调用AI大模型的能力。
如果上述文字表述不清楚。我们在B站发布了完整视频。
-
https://www.bilibili.com/video/BV1a33rzjEDd/
今天《基于大模型的文本分析》系列第一篇,小伙伴先安装好环境,下载后openai库,后面我们一步步来揭示基于AI大模型的文本分析。
安装openai库后,调用这个库时报错:ImportError: cannot import name ‘OpenAI‘ from ‘openai‘。解决办法为:
pip install urllib3==1.25.11
pip install openai==1.7.0
如何学习AI大模型?
我在一线互联网企业工作十余年里,指导过不少同行后辈。帮助很多人得到了学习和成长。
我意识到有很多经验和知识值得分享给大家,也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑,所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限,很多互联网行业朋友无法获得正确的资料得到学习提升,故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。
这份完整版的大模型 AI 学习资料已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

第一阶段: 从大模型系统设计入手,讲解大模型的主要方法;
第二阶段: 在通过大模型提示词工程从Prompts角度入手更好发挥模型的作用;
第三阶段: 大模型平台应用开发借助阿里云PAI平台构建电商领域虚拟试衣系统;
第四阶段: 大模型知识库应用开发以LangChain框架为例,构建物流行业咨询智能问答系统;
第五阶段: 大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型;
第六阶段: 以SD多模态大模型为主,搭建了文生图小程序案例;
第七阶段: 以大模型平台应用与开发为主,通过星火大模型,文心大模型等成熟大模型构建大模型行业应用。

👉学会后的收获:👈
• 基于大模型全栈工程实现(前端、后端、产品经理、设计、数据分析等),通过这门课可获得不同能力;
• 能够利用大模型解决相关实际项目需求: 大数据时代,越来越多的企业和机构需要处理海量数据,利用大模型技术可以更好地处理这些数据,提高数据分析和决策的准确性。因此,掌握大模型应用开发技能,可以让程序员更好地应对实际项目需求;
• 基于大模型和企业数据AI应用开发,实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能, 学会Fine-tuning垂直训练大模型(数据准备、数据蒸馏、大模型部署)一站式掌握;
• 能够完成时下热门大模型垂直领域模型训练能力,提高程序员的编码能力: 大模型应用开发需要掌握机器学习算法、深度学习框架等技术,这些技术的掌握可以提高程序员的编码能力和分析能力,让程序员更加熟练地编写高质量的代码。

1.AI大模型学习路线图
2.100套AI大模型商业化落地方案
3.100集大模型视频教程
4.200本大模型PDF书籍
5.LLM面试题合集
6.AI产品经理资源合集
👉获取方式:
😝有需要的小伙伴,可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓

更多推荐









所有评论(0)