A self-assessment checklist to improve interdisciplinarity in research projects / Un questionnaire d’auto-évaluation pour améliorer les projets de recherche interdisciplinaire

By Flore Nonchez.

A French version of this post is available

How can researchers improve the quality of their interdisciplinary proposals? What would help in clarifying project formulation, enriching description, maximizing relevance, facilitating workplan implementation (by anticipating possible difficulties) and enhancing impact?

The self-assessment checklist provided below aims to help project leaders and their research teams systematically consider the specific interdisciplinary aspects of an interdisciplinary research project, whatever their original discipline or experience of interdisciplinarity. Four phases of research projects are considered:

• Conception
• Design
• Implementing the workplan
• Impact.

Conception

• How are we positioned in relation to the 2005 definition of interdisciplinarity provided by the National Academy of Sciences, National Academy of Engineering and Institute of Medicine, namely “Interdisciplinary research (IDR) is a mode of research by teams or individuals that integrates information, data, techniques, tools, perspectives, concepts and/or theories from two or more disciplines or bodies of specialized knowledge to advance fundamental understanding or to solve problems whose solutions are beyond the scope of a single discipline or area of research practice“:
  • Individually and collectively?
  • Conceptually and practically?
  • In terms of the disciplinary knowledge and experience of the team?
• What is our own definition of interdisciplinarity and what are our positions on it? Are we talking about endogenous (close) interdisciplinarity, or exogenous (wider) interdisciplinarity? What are our strengths and weaknesses? What are our expectations regarding this interdisciplinary approach, and what are our motivations and barriers? In the light of this assessment, can we formulate our interdisciplinary research strategy and priorities in a few words?

Design

• Is the interdisciplinary nature of the project clearly spelled out and are the issues clearly formulated, particularly in terms of endogenous (close) or exogenous (wider) interdisciplinarity?
• Are several disciplinary fields involved, or at least (in the case of endogenous interdisciplinarity) several sub-disciplines identified?
• Are enough disciplines involved, both quantitatively and in terms of scientific excellence of the team members, to respond appropriately to the subject, the question/s and the research hypotheses?
• Is the expected role of each discipline specified? Is this combination clearly justified as an essential condition for innovation on a subject at the interface of the disciplines involved? If societal challenges are involved, are they clearly formulated and how will they be addressed?
• Have the project’s interdisciplinary objectives been formulated collectively by the team, through mutual questioning among the disciplines involved? Are they based on a common vision of the project and on a mission shared by the participating disciplines, ie., a genuine integration of disciplinary knowledge and methods, in order to answer the research question/s? Have the objectives been defined and prioritized collectively in order to integrate all their disciplinary dimensions?
• What evidence is there that the project’s interdisciplinary combination is scientifically original and situated in, and relevant to, an international context?
• Do the team’s complementary disciplinary skills and expertise cover all the research questions raised by the project? What experience does the team have, individually and collectively, of interdisciplinary projects?
• How does the project fit into the interdisciplinary strategy of the relevant institution/s, and to what extent does it benefit from and contribute to this strategy (eg., favorable ecosystem, and institutional support for the project and its implementation)?

Implementing the workplan

• How do the disciplines involved in the team pool their resources and integrate their work in the spirit of interdisciplinary co-production? For example, are the objectives and work packages presented in an integrated and collaborative way, or are they simply juxtaposed?
• Has enough time been allowed for the interdisciplinary work, especially in projects that bring together a wide range of heterogeneous disciplines? How does the project integrate interdisciplinarity into its timelines? Is the project duration long enough and is it the maximum allowed by the call for proposals?
• Are regular meetings planned for interdisciplinary coordination, including to consider relevant terminology, methods and other tools? Is the workplan flexible and agile enough to include new orientations or even new disciplines if this proves necessary? If this is required, how will such additions be made? What are the “warning” indicators that additions or other changes are required?
• Are the roles of all investigators, including principal investigators, postdoctoral fellows, and PhD students in the overall management of the project and within the work packages, specified, especially in relation to interdisciplinary collaboration? If necessary, is a facilitator available to provide support at key stages?
• Does the workplan include indicators for achieving and measuring integration, and are there clear interdisciplinary deliverables? For endogenous (close) interdisciplinarity are the following well described and clearly linked to the scientific questions: the hybridization of heterogeneous concepts, methods, approaches, tools and data?

Impact

• Are the outputs, outcomes and expected impacts of the project specified in terms of:
  • new scientific knowledge produced by and for each discipline involved, as well as interdisciplinary innovation (tools, techniques, data, methods, concepts… using the definition from the National Academy of Sciences, National Academy of Engineering and Institute of Medicine)?
  • collective capacity building (at the level of the teams, research units and institutes involved)?
  • individual capacity building and impact on the careers of team members?
  • societal impact, including cooperation with non-academic actors (such as through support to policy-making)?
  • leverage for other funding and improvement of the competitiveness and scientific reputation of the teams, research units and institutions involved?
• If achieving impact is the objective, what is the relevant baseline situation, and are there plans to analyze it at the start of the project in order to compare it with the situation at the end? Will impact be assessed internally or by an external evaluator?
• Is learning by doing, in relation to interdisciplinary approaches and using integrated tools or methods, an explicit objective of the project?
• What are the best journals in which to publish to highlight the interdisciplinary nature of the project? What are the best conferences at which to present papers, again to highlight the interdisciplinarity of the project?
• Are other funding calls for projects being considered? What further work is planned on this or related topics, from a disciplinary or interdisciplinary point of view?

Conclusion

The aim of these questions is to put research teams into ‘interdisciplinary project mode’ and to guide teams and project leaders step-by-step in the implementation of an integrated interdisciplinary approach.

Do these questions look like they may be useful in your work? Are there other questions that you would add? Are there other processes that you have used to help teams with interdisciplinary research?

To find out more:

Nonchez F. (2024). A self-assessment grid for designing and carrying out an interdisciplinary research project. Crossdisciplines – L’interdisciplinarité dans les sciences. (Online – open access): https://crossdisciplines.hypotheses.org/1163, which provides links to download the grid in English and French.
This i2Insights contribution is an edited version of the checklist which forms part of a larger self-assessment grid (developed by the Mission for Interdisciplinarity of Aix-Marseille University) and which also provides context and references.

Reference:

National Academy of Sciences, National Academy of Engineering and Institute of Medicine. (2005). Facilitating interdisciplinary research. National Academies Press, Washington DC, United States of America: p. 2. (Online – open access for web-version) (DOI): https://doi.org/10.17226/11153

Use of Generative Artificial Intelligence (AI) Statement: Generative artificial intelligence was not used in the development of this i2Insights contribution. (For i2Insights policy on generative artificial intelligence please see https://i2insights.org/contributing-to-i2insights/guidelines-for-authors/#artificial-intelligence.)

Biography: Flore Nonchez MA MSc is the project manager of the Mission for Interdisciplinarity of Aix-Marseille University in France. Her main research interests are methodologies for facilitating inter- and transdisciplinarity (especially in the field of sustainable development goals) and institutional strategies aimed at promoting inter- and transdisciplinarity.

 

---

 

Un questionnaire d’auto-évaluation pour améliorer les projets de recherche interdisciplinaire / Acknowledging and responding to criticisms of interdisciplinarity

An English version of this post is available

Comment les chercheurs peuvent-ils améliorer la qualité de leurs propositions interdisciplinaires ? Comment clarifier la formulation du projet, enrichir sa description, maximiser sa pertinence, faciliter la mise en œuvre du plan de travail (en anticipant les difficultés éventuelles) et en renforcer l’impact ?

Le questionnaire d’auto-évaluation fourni ci-après vise à aider les chefs de projet et leurs équipes de recherche à examiner de manière systématique les aspects spécifiques d’un projet de recherche interdisciplinaire, quelle que soit leur discipline d’origine ou leur expérience de l’interdisciplinarité.

Ce questionnaire interroge quatre phases du projet de recherche :

• Conception
• Elaboration
• Mise en œuvre
• Impact.

Conception

• Comment nous situons-nous par rapport à la définition de l’interdisciplinarité donnée en 2005 par l’Académie nationale des sciences, Académie nationale d’ingénierie et Institut de médecine, à savoir « La recherche interdisciplinaire (IDR) est un mode de recherche mené par des équipes ou des individus qui intègre des informations, des données, des techniques, des outils, des perspectives, des concepts et/ou des théories provenant de deux ou plusieurs disciplines ou domaines de connaissances spécialisées, afin de faire progresser la compréhension fondamentale ou de résoudre des problèmes dont les solutions dépassent le cadre d’une seule discipline ou d’un seul domaine de recherche » :
  • Individuellement et collectivement ?
  • Conceptuellement et pratiquement ?
  • En termes de connaissances disciplinaires et d’expérience de l’équipe ?
• Quelle est notre propre définition de l’interdisciplinarité et quelle est notre position à ce sujet ? S’agit-il d’une interdisciplinarité endogène (étroite) ou d’une interdisciplinarité exogène (plus large) ? Quelles sont nos forces et nos faiblesses ? Quelles sont nos attentes concernant cette approche interdisciplinaire, et quelles sont nos motivations et nos obstacles ? À la lumière de cette évaluation, pouvons-nous formuler en quelques mots notre stratégie et nos priorités en matière de recherche interdisciplinaire ?

Elaboration

• La nature interdisciplinaire du projet est-elle clairement énoncée et les questions sont-elles clairement formulées, notamment en termes d’interdisciplinarité endogène (étroite) ou exogène (plus large) ?
• Plusieurs domaines disciplinaires sont-ils concernés, ou au moins (en cas d’interdisciplinarité endogène) plusieurs sous-disciplines sont-elles identifiées ?
• Le nombre de disciplines impliquées est-il suffisant, tant sur le plan quantitatif que sur celui de l’excellence scientifique des membres de l’équipe, pour répondre de manière appropriée au sujet, à la ou aux questions et aux hypothèses de recherche ?
• Le rôle attendu de chaque discipline est-il précisé ? Cette combinaison est-elle clairement justifiée comme étant une condition essentielle à l’innovation sur un sujet à l’interface des disciplines concernées ? Si des enjeux sociétaux sont évoqués, sont-ils clairement formulés et comment seront-ils abordés ?
• Les objectifs interdisciplinaires du projet ont-ils été formulés collectivement par l’équipe, à travers un dialogue et un questionnement mutuel entre les disciplines concernées ? Sont-ils fondés sur une vision commune du projet et sur une mission partagée par les disciplines participantes, c’est-à-dire une véritable intégration des connaissances et des méthodes disciplinaires, afin de répondre à la ou aux questions de recherche ? Les objectifs ont-ils été définis et hiérarchisés collectivement afin d’intégrer toutes leurs dimensions disciplinaires ?
• Quels éléments prouvent que la combinaison interdisciplinaire du projet est scientifiquement originale et pertinente dans le contexte international dans lequel elle s’inscrit ?
• Les compétences et expertises disciplinaires complémentaires de l’équipe couvrent-elles toutes les questions de recherche soulevées par le projet ? Quelle est l’expérience de l’équipe, individuellement et collectivement, en matière de participation ou coordination de projets interdisciplinaires ?
• Comment le projet s’inscrit-il dans la stratégie interdisciplinaire de la ou des institutions concernées, et dans quelle mesure bénéficie-t-il de cette stratégie et y contribue-t-il (par exemple, écosystème favorable et soutien institutionnel au projet et à sa mise en œuvre) ?

Mise en œuvre

• Comment les disciplines représentées au sein de l’équipe mettent-elles en commun leurs ressources et intègrent-elles leur travail dans un esprit de coproduction interdisciplinaire ? Par exemple, les objectifs et les workpackages sont-ils présentés de manière intégrée et collaborative, ou sont-ils simplement juxtaposés ?
• A-t-on prévu suffisamment de temps pour le travail de collaboration interdisciplinaire, en particulier dans les projets qui rassemblent un large éventail de disciplines hétérogènes ? Comment le projet intègre-t-il l’interdisciplinarité dans son calendrier ? La durée du projet est-elle suffisamment longue et correspond-elle à la durée maximale autorisée par l’appel à propositions ?
• Des réunions régulières sont-elles prévues pour assurer la coordination interdisciplinaire, notamment pour examiner la terminologie, les méthodes et autres outils pertinents ? Le plan de travail est-il suffisamment souple et agile pour inclure de nouvelles orientations ou même de nouvelles disciplines si cela s’avère nécessaire ? Le cas échéant, comment ces ajouts seront-ils effectués ? Quels sont les indicateurs « d’alerte » qui signaleraient que des ajouts ou d’autres changements seraient nécessaires ?
• Les rôles de toutes les équipes impliquées, y compris les chercheurs principaux, les post-doctorants et les doctorants, dans la gestion globale du projet et au sein des workpackages, sont-ils précisés, en particulier en ce qui concerne la collaboration interdisciplinaire ? Si nécessaire, un facilitateur est-il disponible pour apporter son soutien lors des étapes clés du projet ?
• Le plan de travail comprend-il des indicateurs de réalisation et de mesure de l’intégration interdisciplinaire, et existe-t-il des livrables interdisciplinaires clairement énoncés ? Notamment en cas d’interdisciplinarité  endogène (étroite), les éléments suivants sont-ils bien décrits et clairement liés aux questions scientifiques : l’hybridation de concepts, de méthodes, d’approches, d’outils et de données hétérogènes ?

Impact

• Les livrables, résultats et impacts attendus du projet sont-ils précisés en termes de :
  • nouvelles connaissances scientifiques produites par et pour chaque discipline concernée, ainsi que d’innovation interdisciplinaire (outils, techniques, données, méthodes, concepts… selon la définition de l’Académie nationale des sciences, de l’Académie nationale d’ingénierie et de l’Institut de médecine) ?
  • renforcement collectif des capacités (au niveau des équipes, des unités de recherche et des instituts concernés) ?
  • renforcement des capacités individuelles et impact sur la carrière des membres de l’équipe ?
  • impact sociétal, y compris la coopération avec des acteurs non universitaires (par exemple, par l’accompagnement à l’élaboration des politiques publiques) ?
  • effet de levier pour d’autres financements et amélioration de la compétitivité et de la renommée scientifique des équipes, des unités de recherche et des institutions concernées ?
• Si l’impact sociétal fait partie des objectifs, quelle est la situation de référence pertinente et est-il prévu de l’analyser au début du projet afin de la comparer avec la situation en fin de projet? L’impact sera-t-il étudié en interne ou mesuré par un évaluateur externe ?
• L’apprentissage par la pratique, en relation avec les approches interdisciplinaires et l’utilisation d’outils communs ou de méthodes intégrées, est-il un objectif explicite du projet ?
• Quelles sont les meilleures revues dans lesquelles publier pour mettre en évidence l’innovation interdisciplinaire du projet ? Quelles sont les conférences ciblées auxquelles participer, là encore pour mettre en valeur l’interdisciplinarité du projet ?
• D’autres appels à projets sont-ils envisagés ? Quels autres travaux sont prévus sur ce sujet ou sur des thèmes connexes, d’un point de vue disciplinaire ou interdisciplinaire ?

Conclusion

Ces questions ont pour objectif de mettre les équipes de recherche en « mode projet interdisciplinaire » et de guider les équipes et les chefs de projet étape par étape dans la mise en œuvre d’une approche intégrée de l’interdisciplinarité.

Ces questions vous semblent-elles utiles dans votre travail ? Y a-t-il d’autres questions que vous ajouteriez ? Y a-t-il d’autres processus que vous avez utilisés pour aider les équipes impliquées dans des recherches interdisciplinaires ?

Pour en savoir plus:

Nonchez F. (2024). Une grille d’auto-évaluation pour concevoir et réaliser un projet de recherche interdisciplinaire. Crossdisciplines – L’interdisciplinarité dans les sciences. https://crossdisciplines.hypotheses.org/646, avec des liens pour télécharger la grille complète en anglais et en français.
Cette contribution i2Insights est une version adaptée du questionnaire qui fait partie d’une grille d’auto-évaluation plus large (développée par la Mission Interdisciplinarité(s) d’Aix-Marseille Université) qui fournit également le contexte d’élaboration de cet outil et d’autres références.

Référence:

Académie nationale des sciences, Académie nationale d’ingénierie et Institut de médecine. (2005). Faciliter la recherche interdisciplinaire. National Academies Press, Washington DC, United States of America: p. 2. https://doi.org/10.17226/11153

Déclaration relative à l’utilisation de l’intelligence artificielle générative (IA): L’intelligence artificielle générative n’a pas été utilisée dans le cadre de l’élaboration de cette contribution à i2Insights. (Pour connaître la politique d’i2Insights en matière d’intelligence artificielle générative, veuillez consulter https://i2insights.org/contributing-to-i2insights/guidelines-for-authors/#artificial-intelligence.)

Brève biographie: Flore Nonchez, diplômée de l’Institut d’Etudes Politiques d’Aix-en-Provence et d’un Master 2 en administration des entreprises, est chargée de projet de la Mission Interdisciplinarité(s) d’Aix-Marseille Université (France). Ses principaux domaines de recherche sont les méthodologies de projets visant à faciliter l’inter- et la transdisciplinarité (avec un intérêt particulier pour le champ des objectifs de développement durable) et les stratégies institutionnelles visant à promouvoir l’inter- et la transdisciplinarité.