小组面向社交媒体认知作战和国家招生考试数字化战略等重大需求，以机器学习、深度学习为基础，开展异构图表征学习、多/跨模态语义理解和情感认知计算等研究工作，在社交机器人智能治理、虚假信息检测溯源、多模态情感计算和智慧招生考试工程等领域开展落地应用。
在社交媒体认知作战方面，研制了多款定制化的舆情监控系统，其中高考舆情监控系统承担自2013年以来全国普通高考、成人高考、研究生入学考试的信息安保工作，经由系统发现处理的各类案件800余起，其中重大案件13起，为国家、考生挽回直接经济损失预计共达700余万。在国家招生考试数字化工程方面，积极参与了教育部教育考试院推进的智慧考试工程，开发了支持多模态检索的题库系统并构建了百万级的多学科国家题库，研发了面向主观题作答分析的智能评题系统，为国家考试命题、评题工作提供了重要的数据基础和技术支撑。
小组主持和参与了基金委重大/重点/面上/青年项目、国家重点研发计划、军科委前沿创新等国家重大项目，相关研究成果发表在ACL，IJCAI，AAAI，WWW，CIKM，SDM，DASSAFA，AI，TFS，TNNLS，TCYB等顶级国际会议和期刊上。小组毕业的多名硕士、博士生进入腾讯、阿里巴巴、今日头条、华为、美团、百度等知名企业工作。
小组与国外著名研究机构建立了良好的合作关系，比如董怡翔硕士去澳大利亚莫纳什大学交流、闫彩霞博士去美国卡耐基梅隆大学(CMU)联合培养，刘欢博士去新南威尔士大学联合培养等。
小组以社交媒体大数据和教育考试招生大数据为研究对象，开展异构图表征学习、多/跨模态语义理解和情感认知计算等研究工作，在社交机器人智能治理、虚假信息检测溯源、多模态情感计算和智慧招生考试工程等领域开展落地应用。
罗敏楠，西安交通大学教授，博士生导师，清华大学计算机系博士，美国卡内基梅隆大学（CMU）博士后。主要从事社交网络多模态大数据分析与挖掘研究，研究成果发表IEEE TPAMI、NeurIPS、ACL等国际顶级期刊和会议论文80余篇。获得2022年陕西省自然科学一等奖、2020中国自动化学会科学技术进步奖特等奖、DASFAA 2021最佳论文奖，入选2018年首届“高校计算机专业优秀教师奖励计划”、2021“王宽诚青年学者”以及 2023年度百度学术发布的全球首份AI华人女性青年学者榜。
刘欢，副教授。2020年9月毕业于西安交通大学计算机科学与技术学院，2015~2016年北卡罗来纳大学夏洛特分校（UNCC）访问学生，2018~2019年新南威尔士大学（UNSW）联合培养博士生。在 IJCAI、IEEE TAFFC、IEEE TIM、Information Sciences等国际会议和期刊上发表一作或通讯论文10余篇。作为项目负责人，主持基金委青年项目、教育部教育考试院项目、上海市教育考试院项目等多项课题，参与团队多项自然科学基金项目和军口项目。
李睿，博士，高级工程师。2009年毕业于西安交通大学计算机科学与技术学院，2018-2019年美国宾夕法尼亚州立大学（PSU）访问学者。长期从事在线教学平台研发与数据中心运维管理工作，在相关领域发表论文8篇，授权发明专利3项。作为项目负责人，主持数字化考试相关领域课题4项，参与团队多项自然科学基金项目与中国工程科技知识中心建设专项项目。获得2022年国家级教学成果奖（第九完成人）。
曹相湧，副教授、博士生导师，哥伦比亚大学访问学者，主要从事计算机视觉、遥感图像解译、多模态数据分析等方向研究。已在IJCV, SIAM J. Image Sciences, TIP, CVPR, ICCV等国际顶级期刊和会议发表论文50余篇，其中IEEE Trans 20篇，第一作者ESI高被引论文3篇，主持国家自然科学面上基金、青年基金、参与重大、JG等项目，研究成果落地于平高集团、比亚迪等公司，担任CVPR, ICCV, ICLR, TPAMI等会议期刊审稿人，IJCAI 2019高级程序委员会委员，PRCV 2023领域主席，Valse第七届执行委员会委员，中国图像图形学会遥感专委会委员。
老师：罗敏楠，刘欢，李睿，曹相湧
博士：吕彦章，张玉哲，董怡翔，王吉宏, 韩昊辰，万和润，曾智，党茁航，贾成铕，刘佩
研三： 杨名帆，都鹏飞，肖文者
研二：，马梓涵，郑荔静，白宇欣，赵书庆，党思哲，郭宇扬，吴怡笑，娄天宇，张必慧
研一： 孔祥政，姜盛誉，朱晨曦，高浩田，苏智雄，刘高文，杨树森，史磊，万宇哲，庞立，吴萱，尹攀，唐大涛，首云涛
1. 国家考试题库建设工程
在国家考试方面，与教育部考试院建立了良好的合作关系，参与了考试院推进的国家题库建设工程。
首先，面向高中教学主流站点，开发了全学科的深层动态网络爬虫，从网络中采集多模态试卷资源；其次，基于文档布局分析技术实现试题的自动解析；最后，采用多模态表征与融合技术实现试题的查重检测入库。项目的成果已经服务于近几年的国家高考命题工作，仅23年入库试题超过百万道，为国家高考命题查重避重工作提供了重要的数据基础和技术支持。
2. 基于图神经网络的社交机器人的高效检测
从网络结构、属性信息、社团特性等多个角度开展社交机器人检测研究。1）提出一种新型机器人检测框架，它将图神经网络的知识提炼为语言模型，用于社交机器人检测中的无图部署，以应对数据依赖性的挑战，该框架在4项社交机器人基准测试中取得了最先进的性能。相关成果发表在国际顶级会议WSDM上。2）提出一个联合利用多种用户信息模式（元数据、文本内容、网络结构）来改进欺骗性社交机器人检测的框架。框架创造性地加入了社区感知的专家混合层，以提高领域通用性并适应不同的互联网社交平台中的社区，相关成果发表在国际顶级会议SIGIR上。3）提出针对特定社区的社交机器人检测方法，根据社区环境估算机器人的比例。该方法是社交机器人数据集和基于特征、文本和图形的模型的综合体，并根据社交平台上的特定社区进行了调整。通过分析多个社交平台群体的机器人占比，发现社交机器人的存在并不是同质的，而是呈现出具有相当大异质性的时空分布。相关成果发表在国际顶级会议EMNLP上。
3. 模型和数据双驱动的底层遥感图像处理研究
引导式图像超分辨率（GISR）旨在通过提升低分辨率（LR）目标图像的空间分辨率，借助高分辨率（HR）图像的引导，从而获得高分辨率目标图像。然而，先前的基于模型的方法主要将整个图像作为整体，并假设HR目标图像与HR引导图像之间存在先验分布，简单地忽略了它们之间许多非局部共同特征。
为了缓解这个问题，我们首先提出了一种具有两种HR目标图像先验的GISR的最大后验（MAP）估计模型，即局部隐式先验和全局隐式先验。局部隐式先验旨在从局部角度建模HR目标图像与HR引导图像之间的复杂关系，而全局隐式先验则从全局角度考虑了两个图像之间的非局部自回归特性。其次，我们设计了一种新颖的交替优化算法来解决GISR的这个模型。该算法采用简洁的框架，便于复制到常用的深度网络结构中。第三，为了减少迭代阶段之间的信息损失，引入了持久内存机制，通过利用图像和特征空间中的长短时记忆单元（LSTM）增强信息表示。通过这种方式，建立了一个具有一定解释和高表示能力的深度网络。大量实验证明了我们的方法在各种GISR任务上的优越性，包括全色图融合、深度图像超分辨率和磁共振图像超分辨率。相关成果发表于国际顶级期刊IJCV，计算机视觉顶级会议CVPR、ICCV上。
