Dr. Chatbot -- the performance of openly accessible large language models in medicine

Hendrik Friederichs

Abstract

Background / Hintergrund: Vestibulum ultrices, tortor at mattis porta, odio nisi rutrum nulla, sit amet tincidunt eros quam facilisis tellus. Fusce eleifend lectus in elementum lacinia. Nam auctor nunc in massa ullamcorper, sit amet auctor ante accumsan. Nam ut varius metus. Curabitur eget tristique leo. Cras finibus euismod erat eget elementum. Integer vel placerat ex. Ut id eros quis lectus lacinia venenatis hendrerit vel ante.

Methods / Methoden: …

Results / Ergebnisse: …

Conclusio / Schlussfolgerungen: …

¹ Universität Bielefeld, Medizinische Fakultät OWL

^✉ Correspondence: Hendrik Friederichs <hendrik.friederichs@uni-bielefeld.de>

IN PROGRESS …

This manuscript is a work in progress. However, thank you for your interest. Please feel free to visit this web site again at a later date.

Dieses Manuskript ist noch in Arbeit. Wir danken Ihnen jedoch für Ihr Interesse. Bitte besuchen Sie diese Website zu einem späteren Zeitpunkt noch einmal …

STRUKTUR DES MANUSKRIPTS

Relevantes Problem: Gesundheitskompetenz beruht auf verschiedenen Fähigkeiten zur Informationsverarbeitung und ist als Grad, in dem Personen in der Lage sind, grundlegende Gesundheitsinformationen und -dienste zu erhalten, zu verarbeiten und zu verstehen, um angemessene Gesundheitsentscheidungen zu treffen, definiert. Sie ist für Patienten essentiell, um medizinische Berichte und Behandlungen zu verstehen. Für Ärzte kommt noch die Fähigkeiten Studienergebnisse zu verstehen, Patienten aufzuklären, klinische Entscheidungen zu treffen und effektiv im medizinischen Team zu kommunizieren, dazu. Künstliche Intelligenz nimmt auch in der Medizin einen immer breiteren Raum ein und kann sowohl Patienten als auch Ärzte in ihrem gesundheitsbezogenen Handeln unterstützen.
Fokussiertes Problem: Gesundheitskompetenz, besteht aus mehreren Formen der Literacy, z. B. risk literacy, graph literacy und scientific literacy skills. Es ist bisher nicht bekannt, inwieweit Large Language Models diese Kompetenzen bezüglich medizinischer Fragestellungen beherrschen.
Gap des Problems: Health Literacy beeinflusst das Risikoverständnis und Entscheidungsverhalten, wobei Studien hauptsächlich Patienten betrachten. Gelegentlich werden auch Fachleute aus dem Gesundheitswesen betrachtet.
Lösung?: Für den Einsatz von KI bei Menschen mit geringerer Gesundheitskompetenz ist es wichtig, Kenntnisse über die Gesundheitskompetenz der eingesetzten Tools zu haben, um die Relevanz und Glaubwürdigkeit in entsprechenden Anwendungsfeldern einschätzen und für die daraus folgenden Entscheidungen berücksichtigen zu können.
Forschungsfragen: Daher wurde eine Studie mit ChatGPT durchgeführt, um deren Fähigkeit zu untersuchen.
Studienpopulation: ChatGPT
Studiendesign: Validierte Fragebögen
Datenerhebung: mittels BNT, Graph Literacy Scale und Test of Scientific Literacy Skills (TOSLS)
Ergebnisparameter: Anzahl der richtigen Antworten insgesamt.
Statistik: Bestimmung der Prozentwerte für die absolute und relative Bewertung der Leistungen im Vergleich mit Patienten- und Fachkollektiven. Evtl. noch weitere Vergleichsberechnungen.

Background

Broad problem

Lorem ipsum dolor sit amet, consectetur adipiscing elit. Duis sagittis posuere ligula sit amet lacinia. Duis dignissim pellentesque magna, rhoncus congue sapien finibus mollis. Ut eu sem laoreet, vehicula ipsum in, convallis erat. Vestibulum magna sem, blandit pulvinar augue sit amet, auctor malesuada sapien. Nullam faucibus leo eget eros hendrerit, non laoreet ipsum lacinia. Curabitur cursus diam elit, non tempus ante volutpat a. Quisque hendrerit blandit purus non fringilla. Integer sit amet elit viverra ante dapibus semper. Vestibulum viverra rutrum enim, at luctus enim posuere eu. Orci varius natoque penatibus et magnis dis parturient montes, nascetur ridiculus mus.

Theoretical and/or empirical focus of the problem

Large Language Models

Etiam congue quam eget velit convallis, eu sagittis orci vestibulum. Vestibulum at massa turpis. Curabitur ornare ex sed purus vulputate, vitae porta augue rhoncus. Phasellus auctor suscipit purus, vel ultricies nunc. Nunc eleifend nulla ac purus volutpat, id fringilla felis aliquet. Duis vitae porttitor nibh, in rhoncus risus. Vestibulum a est vitae est tristique vehicula. Proin mollis justo id est tempus hendrerit. Praesent suscipit placerat congue. Aliquam eu elit gravida, consequat augue non, ultricies sapien. Nunc ultricies viverra ante, sit amet vehicula ante volutpat id. Etiam tempus purus vitae tellus mollis viverra. Donec at ornare mauris. Aliquam sodales hendrerit ornare. Suspendisse accumsan lacinia sapien, sit amet imperdiet dui molestie ut.

Focused problem statement

Maecenas turpis velit, ultricies non elementum vel, luctus nec nunc. Nulla a diam interdum, faucibus sapien viverra, finibus metus. Donec non tortor diam. In ut elit aliquet, bibendum sem et, aliquam tortor. Donec congue, sem at rhoncus ultrices, nunc augue cursus erat, quis porttitor mauris libero ut ex. Nullam quis leo urna. Donec faucibus ligula eget pellentesque interdum. Lorem ipsum dolor sit amet, consectetur adipiscing elit. Aenean rhoncus interdum erat ut ultricies. Aenean tempus ex non elit suscipit, quis dignissim enim efficitur. Proin laoreet enim massa, vitae laoreet nulla mollis quis.

Statement of study intent

Aenean placerat luctus tortor vitae molestie. Nulla at aliquet nulla. Sed efficitur tellus orci, sed fringilla lectus laoreet eget. Vivamus maximus quam sit amet arcu dignissim, sed accumsan massa ullamcorper. Sed iaculis tincidunt feugiat. Nulla in est at nunc ultricies dictum ut vitae nunc. Aenean convallis vel diam at malesuada. Suspendisse arcu libero, vehicula tempus ultrices a, placerat sit amet tortor. Sed dictum id nulla commodo mattis. Aliquam mollis, nunc eu tristique faucibus, purus lacus tincidunt nulla, ac pretium lorem nunc ut enim. Curabitur eget mattis nisl, vitae sodales augue. Nam felis massa, bibendum sit amet nulla vel, vulputate rutrum lacus. Aenean convallis odio pharetra nulla mattis consequat.

We performed a study of medical students to investigate the following questions:

What is …
Why are …

Methods

Setting and subjects

Study design

Etiam quis tortor luctus, pellentesque ante a, finibus dolor. Phasellus in nibh et magna pulvinar malesuada. Ut nisl ex, sagittis at sollicitudin et, sollicitudin id nunc. In id porta urna. Proin porta dolor dolor, vel dapibus nisi lacinia in. Pellentesque ante mauris, ornare non euismod a, fermentum ut sapien. Proin sed vehicula enim. Aliquam tortor odio, vestibulum vitae odio in, tempor molestie justo. Praesent maximus lacus nec leo maximus blandit.

Ethical approval

Data collection

Data collection for this study was determined à priori as follows:

…

Outcome Measures

…

Statistical methods

…

Results

Recruitment Process and Demographic Characteristics

The recruitment process is shown in Figure 1. We obtained XX complete data sets (return rate YY.Z%) after contacting …

Primary and secondary Outcomes

Beispielgrafik: ein Bild sagt mehr als tausend Worte …

Discussion

Summary

After the evaluation of all datasets, the following findings emerged. The first is that …

Limitation: study population

Nunc ac dignissim magna. Vestibulum vitae egestas elit. Proin feugiat leo quis ante condimentum, eu ornare mauris feugiat. Pellentesque habitant morbi tristique senectus et netus et malesuada fames ac turpis egestas. Mauris cursus laoreet ex, dignissim bibendum est posuere iaculis. Suspendisse et maximus elit. In fringilla gravida ornare. Aenean id lectus pulvinar, sagittis felis nec, rutrum risus. Nam vel neque eu arcu blandit fringilla et in quam. Aliquam luctus est sit amet vestibulum eleifend. Phasellus elementum sagittis molestie. Proin tempor lorem arcu, at condimentum purus volutpat eu. Fusce et pellentesque ligula. Pellentesque id tellus at erat luctus fringilla. Suspendisse potenti.

Limitation: study design

…

Integration with prior work

Only a few studies provide insights

Implications for practice

Implications for research

…

Conclusions

…

References

Declarations

Availability of data and materials

The original data that support the findings of this study are available from Open Science Framework (osf.io, see manuscript-URL).

Competing interests

The authors declare that they have no competing interests.

Funding

The author(s) received no specific funding for this work.

Authors’ contributions

CRediT authorship contribution statement

Hendrik Friederichs: Conceptualization, Data curation, Formal analysis, Investigation, Methodology, Visualization, Supervision, Writing - review & editing, Writing - original draft.

Acknowledgments

The manuscript was linguistically improved using DeepL Pro (DeepL SE, Cologne, Germany). DeepL Pro provided translation and language refinement only to ensure clarity and coherence in English.

Das Manuskript wurde mit DeepL Pro (DeepL SE, Köln, Deutschland) sprachlich verbessert. DeepL Pro diente lediglich der Übersetzung und sprachlichen Verfeinerung, um die Klarheit und Kohärenz im Englischen zu gewährleisten.

The authors are grateful for the insightful comments offered by the anonymous peer reviewers at Ziel-Journal. The generosity and expertise of one and all have improved this study in innumerable ways and saved us from many errors; those that inevitably remain are entirely our own responsibility.

Reuse

CC BY-SA 4.0

Citation

BibTeX citation:

@online{friederichs2024,
  author = {Hendrik Friederichs},
  title = {Dr. {Chatbot} -\/- the Performance of Openly Accessible Large
    Language Models in Medicine},
  date = {2024-03-06},
  langid = {en}
}

For attribution, please cite this work as:

1. Hendrik Friederichs. Dr. Chatbot -- the performance of openly accessible large language models in medicine. Ziel-Journal. 2024.